基于3D+2D高维特征融合的物料跟踪多目标识别方法及系统

本发明提供一种基于3D+2D高维特征融合的物料跟踪多目标识别方法及系统，所述方法包括：利用YOLO算法对待跟踪物料进行目标识别；基于Deep SORT算法对物料进行多目标实时跟踪；采用多视角数据标定与对齐算法生成目标的三维点云数据，并进行降噪、采样和数据增强预处理操作；使用Gaussian Splatting方法对预处理后的三维点云数据进行三维重建，同时引入时间序列信息；通过Mask R‑CNN技术对动态三维目标与静态背景进行分割；利用特征融合方法，将目标在二维图像中的位置与三维空间中的坐标对齐；采用PNP算法估算目标在三维空间的姿态和深度信息，实现物料的精准定位与状态还原，为工业环境中的物料管理与跟踪提供高效、可靠的技术支持。