基于多尺度注意力稀疏级联的多模态图像融合方法与系统

本发明提出一种基于多尺度注意力稀疏级联的多模态图像融合方法与系统，该方法包括：将红外图像和可见光图像输入特征编码器，得到浅层编码特征图；将浅层编码特征图嵌入三尺度块，得到深层编码特征图；将深层编码特征图输入并依次通过空间注意力网络和交叉注意力网络、双层Transformer残差块和重建解码网络，得到潜在图像；将潜在图像、红外图像和可见光图像输入多成分优化增补模块，得到融合图像；本发明充分提取多模态图像中的显著红外目标和可见纹理细节，再利用交叉注意力和Transformer长程依赖机制以及多成分优化增补模块，以提高融合模型的特征拟合能力，增强不同尺度特征之间的长程依赖关联，实现更鲁棒的融合。