一种基于飞行模拟器多模态数据的特征融合模型构建方法

本发明属于飞行员训练评估技术领域，且公开了一种基于飞行模拟器多模态数据的特征融合模型构建方法，具体步骤如下：步骤一：选取飞行员训练视频，获取飞行参数数据，建立飞行模拟器多模态数据集；步骤二：数据预处理；步骤三：ViTPose提供关键点序列；步骤四：关键点序列特征嵌入；步骤五：飞行参数时序和飞行员操作行为频域特征提取；步骤六：跨模态特征融合；步骤七：对比学习。本发明通过充分捕获飞行模拟器使用过程中不同模态的信号，将飞行员训练视频中的操作行为特征以及飞行模拟器产生的数据时序特征进行融合，从而实现更为精确和高效的飞行员驾驶训练行为表征和识别，进而区别飞行员训练的好坏，同时将整个学习过程分层进行处理，在每一层模型主要不同阶段的特征，通过该模式的交互作用，使不同信号的信息能够更深层次、更有效地结合，进而在后续层次学习中获取更为高级和抽象的特征表示。