一种联合图像配准的图像融合方法、装置及电子介质

本申请涉及自动驾驶技术领域，具体地说，本发明涉及一种联合图像配准的图像融合方法、装置及电子设备，属于自动驾驶技术领域。其中，该方法利用深度学习网络构建图像配准融合模型，对未配准的红外/可见光图像进行配准与融合，以实现车辆环境快速感知。该模型先对图像进行特征提取，然后对提取的特征信息进行特征匹配与校准，最后通过重构模块获取融合图像。在网络训练阶段，计算融合图像与红外/可见光图像的信息损失，基于损失对模型进行训练，得到训练完备的网络模型。本申请通过图像配准融合端到端网络模型，综合利用可见光和红外图像优势快速获取环境信息，使得该模型可应用于车辆环境感知高实时性需求场景。