基于非平衡多模态异构数据的跨域机械故障诊断方法及装置

本发明公开了一种基于非平衡多模态异构数据的跨域机械故障诊断方法及装置，获取待诊断机械设备的多模态异构信号，多模态异构信号包括一维振动信号和二维红外热成像图像信号；将多模态异构信号输入预先训练完成的跨域机械故障诊断模型中，输出诊断结果；跨域机械故障诊断模型是采用训练数据对双分支异构特征融合网络训练得到，双分支异构特征融合网络包括双分支异构特征提取器、特征拼接层以及并行设置的特征分类器与基于对抗网络的域判别器，双分支异构特征提取器包括并行设置的振动信号特征提取器与图像信号特征提取器；训练过程的总损失函数包括强化类间不平衡和类内难易样本不平衡的焦点损失、联合深度域自适应损失与对抗网络域混淆损失。本发明的目的在于通过多模态特征融合网络解决多源异构数据利用率低下的问题。