一种基于空间-频率交互的多模态图像融合方法

一种基于空间‑频率交互的多模态图像融合方法，包括以下步骤：步骤1，输入红外图像与可见光图像；步骤2，对红外图像与可见光图像使用基本的卷积神经网络进行初步的编码与特征提取；步骤3，对初步提取的红外图像与可见光图像的空间特征进行深度空间特征提取，然后对两者的空间特征进行融合；步骤4，进行两阶段的频率特征提取，其中第一阶段进行模态间的特征交互融合，第二阶段进行模态内部的频率增强；步骤5，将红外图像与可见光图像融合后的空间特征与频率特征进行跨域的特征融合；步骤6，进行特征解码；步骤7，进行图像重构，得到红外图像与可见光图像融合后的输出图像。本发明高效改善融合图像的空间质量以及信息的丰富性。