一种4D毫米波雷达辅助单目视觉的多目标跟踪方法及系统

本发明公开了一种4D毫米波雷达辅助单目视觉的多目标跟踪方法及系统，首先在单目相机图像中，使用目标检测算法YOLOX实现物体位置、尺寸和类别的检测；将YOLOX检测器的输出与视觉跟踪器ByteTrack组合，获得初步的视觉多目标跟踪结果；在4D毫米波雷达点云中，先使用DBSCAN聚类算法滤除噪声点，计算各组聚类点云中心的位置、速度信息，设计卡尔曼滤波器处理各中心点云，实现目标在雷达坐标系中的运动状态估计；再通过传感器的时空对准，将图像与雷达数据统一到像素坐标系中；采用全局最近邻匹配算法，完成两传感器数据匹配；最后根据匹配结果，用雷达数据辅助补全对应的视觉跟踪结果，输出最终的多目标跟踪结果。