一种基于激光雷达与双目相机的多模态目标识别与跟踪预测方法

本发明涉及一种基于激光雷达与双目相机的多模态目标识别与跟踪预测方法，属机器人/无人系统感知识别领域。包括将双目相机获取的目标二维图像，以及激光雷达获取的目标点云数据进行预处理，得到预处理后的二维图像及点云数据；步骤S2、基于所述预处理后的二维图像进行二维目标检测及跟踪检测，得到二维目标检测与跟踪结果；步骤S3、基于所述预处理后的点云数据及所述二维目标检测与跟踪结果进行三维目标检测，得到三维检测结果；步骤S4、基于所述二维目标检测与跟踪结果中的像素坐标，以及所述三维检测结果中的目标点云边界的顶点的像素坐标，进行目标融合跟踪预测，得到目标ID、位置、类别和目标点云边界。实现了目标的精确识别与跟踪。