一种基于对比学习的多模态图像融合识别方法

本发明公开了一种基于对比学习的多模态图像融合识别方法，属于人工智能与机器学习技术领域，其包括获取第一模态图像和第二模态图像；通过预设的第一、二特征提取网络处理所述第一、二模态图像，生成第一、二特征图，同时生成具有各特征点间关联强度的跨模态关系图，确定包含特征点组合的正样本对和负样本对；利用对比学习目标调整网络的参数，使得所述正样本对中的特征点距离减小，所述负样本对中的特征点距离增大；基于所述跨模态关系图，对所述第一、二特征图进行加权融合，生成融合特征图并输入预设的识别网络，得到识别结果。本发明采用动态跨模态关系图引导的对比学习与特征加权融合机制，能够实现端到端的自适应特征对齐，提升复杂场景下的识别精度。