一种基于跨模态交互的海洋船舶图文定位方法

本发明属于智慧海洋和计算机视觉技术领域，公开一种基于跨模态交互的海洋船舶图文定位方法，包括：构建数据集；构建编码‑解码结构模型；提取视觉特征和语言特征，生成视觉特征和语言特征；融合上述特征生成坐标先验和对齐特征，用增强对象查询，并与多模态视觉特征和语言特征交互；计算损失函数值，训练多轮得最终模型。本发明将单模态特征与其他模态特征关联，提高模型对视觉和语言特征的语义理解；利用坐标先验增强对象查询，引入判别融合模块加强多模态特征的语义一致性，最终有效提高船舶图文定位任务的效率和准确率。