基于多模态融合的煤块与矸石全局视觉识别方法及系统

本发明涉及一种基于多模态融合的煤块与矸石全局视觉识别方法及系统，包括如下步骤：多台分布于传送带上方的RGB‑D相机进行RGB图像与点云图像的采集，点云数据的预处理，数据集制作与模型的训练用训练模型同步进行推理，并且融合结果，识别待识别目标的类型以及位置信息，通过SORT跟踪算法实现全局目标检测。本发明实现了多深度相机点云标定拼接、点云背景滤除、深度相机安装偏差矫正，简化了多深度相机采集与预处理点云过程中的流程，提升了多深度相机点云处理的效率。