一种基于空频交互的多模态图像融合方法

一种基于空频交互的多模态图像融合方法，包括以下步骤：构建模态特定特征提取器，用于提取不同模态的模态特定特征；提取频域特征，利用离散小波变换将图像从空域变换到频域，使用多尺度频域融合模块分别融合低频和高频特征；使用基于视觉状态空间模型的空频交互融合模块，利用多尺度频域融合得到的频域特征，指导空域融合，提取更全面的互补特征；结合融合后的空域和频域特征，得到融合图像。本发明相比于其他方法，能够生成细节信息更丰富和视觉质量更高的融合图像；基于状态空间模型，能够以线性计算复杂度来进行全局上下文信息建模；引入空频交互机制，可以充分挖掘空域和频域的互补信息，以更好的提取互补特征，从而达到更高的融合质量。