一种多模态与单模态信息互补增益驱动的工业故障诊断方法

本发明涉及一种多模态与单模态信息互补增益驱动的工业故障诊断方法，该方法利用多模态融合故障诊断模型输出故障诊断结果，模型包括：模态对齐模块，对多模态数据进行对齐预处理，得到每一模态的模态表征；跨模态交叉特征提取模块，以所有模态的模态表征为输入，实现不同模态之间的信息交互与互补特征融合，输出每一模态对应的交叉增强特征；共享时序模块，以对应模态的模态表征和所有模态的交叉增强特征为输入，结合自注意力机制以捕获时间维度上的依赖特性，输出多模态特征表征和单模态特征表征；多模态分类头和单模态分类头，分别输出对应的故障诊断结果。与现有技术相比，本发明能够实现多模态信息与各单模态信息相互增益，提高复杂工业系统的故障诊断精度。