一种基于多模态融合的电力违章操作识别的方法

本发明提供了一种基于多模态融合的电力违章操作识别的方法，方法结合深度学习的像素级融合与多光谱成像采集技术，构建多模态数据。利用特征适配模块校准多尺度特征分布，将图像中的物体、场景、动作等视觉语义与语言中的词汇和句子语义进行对齐，并将校准后的各级特征进行多级注入，强化关键特征，凸显违章相关视觉元素。采用含时序编码能力的神经网络捕捉操作动态过程，经全连接层与分类器判别，输出是否违章结果。本发明采用多模态融合方法，在复杂光照、遮挡状况下精准特征处理，使识别准确率大幅跃升，降低误判率，保障作业安全。