摘要
本发明公开了一种基于时空融合的多模态自动驾驶三维目标跟踪方法,属于自动驾驶技术领域。本发明主要包括以下步骤:时空融合特征的生成;多模态融合的BEV特征的生成;单帧三维目标检测结果的生成;目标检测与目标跟踪的匹配;单帧三维目标跟踪结果的生成。基于本发明所提出的三维目标跟踪方法可以将时空特征进行融合用于三维目标跟踪任务,同时可将不同的传感器数据融合为统一的鸟瞰图特征。相较于单独处理时间维度特征和空间维度特征的模型,本模型可以更有效融合时间和空间特征,同时多模态的融合可以进一步提高目标跟踪的精度和鲁棒性,提升自动驾驶系统的安全性。
技术关键词
跟踪方法
多层卷积神经网络
点云
物体
图像
注意力机制
感兴趣
时空融合特征
区域生成网络
多模态
自动驾驶系统
自动驾驶技术
矩阵
特征提取模块
跟踪系统
数据
激光雷达
鲁棒性