结合扩散模型的深度展开多模态图像融合网络方法及装置

本发明提供的结合扩散模型的深度展开多模态图像融合网络方法及装置，包括：采集源图像和纯噪声图像；构建并训练深度融合与扩散先验展开网络；将第二模态图像滤波处理后输入去噪扩散模块，去噪扩散模块计算滤波后残留图像的整流预测值，并将滤波后残留图像的整流预测值作为数据一致性模块的输入；滤波后残留图像的整流预测值经数据一致性模块结合第一模态图像，经自适应参数处理后生成预测融合图像；并计算生成的预测融合图像的残差滤波张量作为去噪扩散模块的下一次输入；迭代运算至时间步长为0，输出对应的预测融合图像作为融合图像。本发明能够实现自适应和上下文感知的图像融合，具有强大的适应性和融合能力。