一种基于卷积神经网络的红外可见光图像融合的方法

本发明提出了一种基于卷积神经网络的红外可见光图像融合的方法。本发明提出了一个端到端的红外可见光图像融合框架，利用强度损失、纹理损失保留红外光图像中的突出目标和可见光图像中的纹理细节，同时在融合框架中引入语义损失和目标检测损失，为多模态图像融合网络的优化提供任务相关信息的指导。本发明通过预训练的目标检测损失模块提供目标检测损失；并在网络图像重建环境每一个卷积层之后加入了一个注意力机制模块，它可以在降低模型复杂度的同时保持提取通道注意力的性能。本发明可以整合处理来自不同源图像的互补与冗余信息，以创建相比于单幅源图像能对场景做出更好描述的复合图像，该图像不仅包含显著的目标和丰富的纹理细节，而且有利于一些视觉任务的处理，譬如目标识别、语义分割等。