一种基于跨模态交互感知的多模态图像融合方法及系统

本发明公开了一种基于跨模态交互感知的多模态图像融合方法及系统，构建多模态图像融合模型并训练，将待融合的多模态图像输入训练后的多模态图像融合模型处理，编码器模块接收待融合的多模态图像并进行逐层编码处理，输出若干层不同尺度的特征图，通道级校正模块接收若干层不同尺度的特征图并进行加权校正，输出若干层权校正后的模态特征，动态跨模态交互模块接收若干层加权校正后的模态特征并处理，得到若干层融合特征，解码器模块接收若干层融合特征并进行逐层解码与融合处理，输出待融合的多模态图像对应的融合图像。该方法通过通道级校正模块和动态跨模态交互模块，能够有效地将多模态数据之间的相关信息进行交互。