一种基于Transformer双信息流的海上图像描述方法

本发明公开了一种基于Transformer双信息流的海上图像描述方法，S1：获取船舶相机真实航行视频，并基于船舶相机真实航行视频得到船舶航行信息数据集，并基于船舶航行信息数据集得到词汇表；S2：建立用于图像描述的双信息流模型，对双信息流模型进行训练，得到训练后的双信息流模型；双信息流模型包括双信息流特征获取模块、Transformer编码器和Transformer解码器；S3：基于训练后的双信息流模型实现海上图像描述。本发明通过对现有图像描述方法进行改进和优化，提高了描述语句的准确度和完整度，使船舶能够理解和描述海上图像场景中的各种元素，不仅有助于提升智能船舶在环境感知和理解方面的能力，还能够在实际应用中解决辅助驾驶、海上安全、海上救援等问题。