一种基于模态感知图推理的多模态目标重识别方法

本发明公开一种基于模态感知图推理的多模态目标重识别方法，构建模态感知图推理网络MGRNet，使用模态感知图推理网络MGRNet来实现多模态图像的信息交互、并恢复多模态目标重识别中的缺失模态；为捕捉每种模态的独特信息，利用多分支骨干网络提取各模态初始特征。为提取判别性信息，设计模态交互图推理策略，通过同时考虑局部和全局特征，捕捉局部细节并减轻低质量局部特征的影响。为获得更好的全局信息，使用全局感知多头注意力模块将来自不同区域的丰富局部信息聚合成全局特征。为解决模态缺失问题，基于缺失模态图推理策略在减少多模态数据之间差异的同时恢复缺失的模态信息。