跨模态数据的设备红外图像识别方法、系统、介质及设备

本发明公开了一种跨模态数据的设备红外图像识别方法、系统、介质及设备，包括获取各变电设备的可见光图像和红外图像；根据目标检测模型，识别可见光图像中的各变电设备，得到对应的目标识别框；根据仿射变换矩阵，映射各目标识别框至红外图像中，得到有效识别框；其中仿射变换矩阵是通过拟合求解特征点匹配关系而获得；特征点匹配关系是根据可见光图像和红外图像的特征点及特征描述子构建的；根据语义分割模型，处理可见光图像中各有效识别框对应的区域图，得到各有效识别框对应的变电设备的部件掩码信息；根据仿射变换矩阵，映射各部件掩码信息至红外图像，完成红外图像的设备部件掩码识别。本发明解决了单光红外图像识别能力差的问题。