一种基于扩散模型-卷积神经网络的多模态图像融合方法

本发明公开一种基于扩散模型‑卷积神经网络的多模态图像融合方法，包括全局信息建模，局部细节特征提取，设计互补特征聚合模块，设计多样化损失函数。网络模型由基于扩散和基于CNN的两个分支组成，在扩散分支中，根据提出的时间步选择策略向原始输入X0引入噪声，并在去噪过程中提取中间特征，以实现全局信息建模；在CNN分支中，使用多尺度卷积核和注意力模块提取和整合局部详细特征；随后，利用提出的互补特征聚合模块(CFAM)生成基于坐标注意力的注意力图谱，以捕捉各支路特征之间的长距离依赖关系，从而实现有效聚合；最终，聚合结果被输入到融合头，以获得融合结果。