一种基于可见光和红外模态融合的目标分割识别方法

本发明提供了一种基于可见光和红外模态融合的目标分割识别方法，包括如下步骤：步骤1、获取红外图像记为ii，可见光图像记为iv；步骤2、对红外图像记为ii，可见光图像记为iv进行配准预处理，获得红外配准图像记为iir，可见光配准图像记为ivis；步骤3、对融合网络进行预训练；步骤4、将红外配准图像记为iir，可见光配准图像记为ivis输入融合网络进行融合，输出融合图像；步骤5、对融合图像进行语义分割，进行目标识别和定位；本方法不仅降低了多源感知融合模块的计算压力，提升基于语义融合网络的双光图像融合效率。而且，能够脱离人工主观设计的损失函数限制，在保证高质量视觉效果的同时，显著提升高级视觉任务的表现，同时提高了图像融合技术的应用价值和效果。