一种基于多模态特征差异的红外与可见光图像融合系统

本发明提供了一种基于多模态特征差异的红外与可见光图像融合系统。该系统实现提高红外与可见光图像融合的质量与清晰度，首先，通过特征提取模块提取多层次、多尺度的特征；接着，经过TAFEM模块对特征进行增强，在特征融合模块中，通过DIIM和CMIFM的注意力融合方式，进行两种模态图像之间的相同成分和差异成分的融合，最后，图像重建模块对融合特征进行精炼与上采样，生成高质量的融合图像。本发明通过创新性的采用纹理信息和多尺度特征并行提取的方式，提高了模型的特征提取质量，还提出了TAFEM模块，减少了特征提取阶段的信息丢失，并且在传统的DIIM模块和ACIIM模块的基础上改进得到CMIFM模块，弥补了传统交叉注意力机制对提取共同信息的不足。