一种多源异构传感信息融合的目标检测与跟踪网络模型及方法

本发明公开了一种多源异构传感信息融合的目标检测与跟踪网络模型及方法。近年来，智能汽车环境感知技术取得了显著进展，然而无人驾驶汽车的广泛部署仍未实现，其主要制约因素在于复杂交通场景中行车环境状态估计不准确的问题。为此，本发明提出了一种高效融合多源异构传感信息的方法，构建了精确空间信息指导的相机视图转换模块，并设计了带有先验信息的查询初始化模块。此外，本发明采用基于时序信息的查询增强模块，通过跟踪任务提高检测精度，结合LSTM与Transformer的数据关联匹配策略，实现了多目标跟踪。经过8×Tesla V100GPUs的训练，本发明在nuScenes和RADIATE数据集上显著提升了检测和跟踪算法的准确性，为自动驾驶提供了一种高精度、高可信性和高安全性的技术方案。