地下工程施工机械活动跨模态深度识别系统、方法及设备

本发明公开了一种地下工程施工机械活动跨模态深度识别系统，该系统包括依次连接的数据采集模块、数据预处理模块及施工机械活动状态识别模型；施工机械活动状态识别模型包括单模态特征提取模块、跨模态注意力机制模块及多头自注意力机制模块；数据采集模块采集施工机械的运动学、音频、视频数据；数据预处理模块用于对采集的数据进行预处理；单模态特征提取模块用于提取运动学、音频、视频数据的单模态特征；跨模态注意力机制模块用于捕捉多模态特征间相关性，多头自注意力机制模块用于多模态特征融合及分类，其对输入的特征进行多模态融合，并通过Softmax函数输出施工机械活动状态分类结果。本发明可应用于多模态数据处理、特征识别等领域。