注意力机制融合化工过程双模态信息的故障诊断模型

本发明涉及一种使用注意力机制融合化工过程双模态信息的故障诊断模型；由文本模态特征提取单元、视觉模态提取单元与协同模态融合单元使构成；文本模态特征提取使用MPR‑CNN模型，将多重预提取后的多种不同类型数据组成三维数据特征矩阵；视觉模态提取使用YoloV7模型转换成的数据特征矩阵；协同模态融合单元使用多个新构筑的多模态注意力解码器与多模态交互单元组成，构成了使用注意力机制融合化工过程双模态信息的故障诊断模型。本发明为解决传统的化工过程的故障检测与诊断只对化工过程中产生的文本数据进行分析而忽略了视觉数据的充分提取的问题。充分利用双模态数据提取得到数据潜在的更丰富的特征，使得故障诊断更加高效。