基于UNITER-Yolov5模型的多模态交通感知方法

本申请涉及一种基于UNITER‑Yolov5模型的多模态交通感知方法。该方法包括：获取交通场景中的图像数据和文本描述数据；将图像数据输入训练好的基于UNITER‑Yolov5的多模态交通感知模型的Yolov5模块进行预处理，获得K个目标区域的图像卷积特征；将文本描述数据和图像数据输入多模态交通感知模型的UNITER模块进行预处理，获得图像的语义特征；将图像的语义特征和K个目标区域的图像卷积特征输入到多模态交通感知模型的改进的Yolov5模块进行感知，输出交通场景的感知结果。能够将图像信息和自然语言信息有效地融合，应对现在多模态环境与复杂交通环境的目标感知，提供更全面的目标理解，从而提高检测的准确性。