一种基于稀疏多模态融合的障碍物追踪方法及相关设备

本发明公开了一种基于稀疏多模态融合的障碍物追踪方法及相关设备，方法通过实时采集至少一个障碍物的点云数据和环视图像；对点云数据进行稀疏体素化后，调用稀疏卷积网络提取稀疏点云特征；将稀疏点云特征所属稀疏点云映射至环视图像，并采集对应的图像特征；融合稀疏点云特征和图像特征，生成多模态联合特征；将多模态联合特征输入检测头模块，输出障碍物对应的多维障碍物信息。从而通过稀疏体素化处理减少计算冗余，同时结合点云与图像的互补信息，实现高效、精准的目标检测与跟踪。