基于多模态数据时间戳同步及GPU/CPU协同加速的棉包检测方法

本发明公开了一种基于多模态数据时间戳同步及GPU/CPU协同加速的棉包检测方法，采集多模态数据，并标记时间戳，对棉包图像进行GPU加速畸变矫正；对多模态数据进行时间戳同步并整合；主程序采用Nodelet结合C++多线程技术并行处理多模态数据的接收、多模态传感器坐标系发布，主程序运行对多模态数据传输效率进行优化；构建棉包检测模型，输入优化后的多模态数据进行训练，使用TensorRT对训练完成后的棉包检测模型进行优化，并将棉包图像输入进行推理，得到棉包目标识别数据并传输至CPU进行后处理操作，使用OpenMP加速主程序中点云遍历进行棉包目标识别数据与激光雷达点云数据匹配；将匹配后的多模态数据进行点云特征和平面拟合计算，得到棉包目标的矩形框、位姿信息和得分。