一种基于多模态协同的3D多目标跟踪方法

本发明公开了一种基于多模态协同的3D多目标跟踪方法，方法包括：将当前获取的3D点云序列输入3D目标检测器、图像序列输入2D目标检测器，分别获得3D检测框和2D检测框并输入多模态位置优化器，利用基于图像语义信息的2D检测框调整对应物体的3D检测框，获得增强3D坐标框投影到对应的相机平面获得相应区域，并利用外观特征提取器获得物体对应的当前外观特征；利用轨迹管理模块存储外观特征和运动特征并进行更新，具体为：将当前外观特征、增强3D坐标框与历史轨迹外观特征和运动特征进行相似度匹配；根据匹配结果进行外观特征和运动特征的更新；更新完成后的轨迹管理模块输出跟踪结果。本发明方法提高了3D多目标跟踪效果。