基于多模态大模型的自动驾驶协同感知方法及装置

本发明提供一种基于多模态大模型的自动驾驶协同感知方法及装置，该方法包括：通过多模态大模型对主端车辆的点云数据进行处理，得到文本信息；从文本信息中提取文本特征，从主端车辆的图像数据中提取图像特征，从点云数据对应的深度图中提取深度图特征；根据文本特征对深度图特征和图像特征进行融合，得到第一融合特征；对第一融合特征和目标端发送的待检测物体特征进行融合，得到第二融合特征；目标端包括主端车辆的协同端和路端中的至少一项；基于第二融合特征执行多端协同感知视觉任务。本发明所述方法提高了感知特征的表征能力，进而提高了多终端车辆间的协同感知准确率和鲁棒性。