一种基于Transformer的可见光图像和红外图像的融合方法及系统

本发明公开了一种基于Transformer的可见光图像和红外图像的融合方法及系统，该方法包括：分别提取可见光图像与红外图像的原始特征图；将可见光图像的原始特征图输入特征金字塔中进行特征融合得到第一特征图；将红外图像的原始特征图输入特征金字塔中进行特征融合得到第二特征图；将第一特征图输入Transformer编码模块得到第三特征图；将第二特征图输入Transformer解码模块得到第四特征图；将第三特征图和第四特征图输入交叉注意力机制模块进行融合得到第五特征图。本发明针对现有的可见光图像与红外图像融合方法中存在泛化能力较差与网络复杂的问题，通过引入Transformer模块，以一种端到端、注意力机制为核心的方法自动学习并查询可见光图像与红外图像之间相关联的点解决以上问题。