自适应对齐的跨模态视觉-语言船舶智能人机交互方法

本发明实施例公开了一种自适应对齐的跨模态视觉‑语言船舶智能人机交互方法，包括从船载视觉传感器采集的视觉图像中提取目标图像objects语义表示以及每个objects对应的位置信息；从视觉图像的对应语言指令中提取文本tokens语义表示、并计算文本总结表示；对提取的文本tokens语义表示进行模内对齐操作；对提取的图像tokens语义表示进行模内与模间交互对齐；对细粒度的文本tokens语义表示信息进行压缩整合，融合文本语义表示与跨模态后的图像objects语义表示；将融合特征进行投影，构建损失函数，获取与语言指令相关的目标及其位置，本发明便于船员在巡航过程中能够与智能识别场景进行实时人机互动，提升船舶的智能化与操作效率，以便更好地进行下一步智能决策。