基于深度学习的多模态图像配准与融合方法及系统

本发明公开了一种基于深度学习的多模态图像配准与融合方法及系统，该方法利用跨模态图像生成网络生成伪红外图像以减少源图像间的模态差异，通过多尺度配准网络精确估计图像间的变形场，采用联合训练框架实现配准网络和融合网络的协同优化，应用语义引导的融合框架增强融合图像的语义信息。该技术主要用于自动驾驶、视频监控、医学成像等领域，提供比单一传感器更丰富、更准确的场景描述，尤其在昼夜监控和目标识别方面具有重要应用价值。