一种融合多模态数据的冶金炉窑工况智能识别方法

本发明提出了一种融合多模态数据的冶金炉窑工况智能识别方法。设计了双分支多层次残差结构特征编码器，充分提取了冶金炉窑过程变量数据特征和图像数据特征。通过对比学习方法来进行模态特征间的聚合和分离，实现了特征语义对齐，优化特征分布。在正交损失的约束下，利用特征分解器有效分离出模态间相关特征和模态私有特征，并使用信息瓶颈理论促进了过程变量数据和图像数据关键相关特征的冗余去除。构建了多层次多维度特征融合模块，在双向交叉注意力作用下，依次实现了单层次特征交互融合以及层次间特征融合，得到了信息含量丰富的融合特征。最终送入分类器，实现了多模态数据输入下冶金炉窑工况的智能准确识别。