一种基于图神经结构对齐的舰船多模态图像融合识别方法

本发明具体涉及一种基于图神经结构对齐的舰船多模态图像融合识别方法，包括以下步骤：步骤一、获取舰船多模态图像，构建骨干神经网络提取多模态图像特征；步骤二、构建图神经网络的图节点，生成邻接边关系；步骤三、对不同模态构建的图结构，采用两层级的图注意力机制完成结构对齐；步骤四、利用最优传输机制，实现红外与可见光模态图之间的结构对齐；步骤五、特征重注入融合空间坐标与全局信息，提升节点特征的定位和表达能力；步骤六、采用局部特征对齐损失、图级语义一致性损失以及分类监督损失，训练构建的舰船多模态图像融合识别网络。本发明解决了红外与可见光模态图像不一致带来的对齐误差问题，充分融合了红外与光学图像的结构与语义信息，有效提升了跨模态目标识别的准确性与鲁棒性，适用于多模态舰船识别等复杂场景。