一种用于煤矸石及杂物的多目标跟踪方法和系统

本发明提供了一种用于煤矸石及杂物的多目标跟踪方法，包括：获取煤矸石和杂物图像目标检测数据集并进行数据增强；裁剪煤矸石和杂物目标生成图像分类数据集；将目标检测数据集和数据增强数据集的样本输入到YOLOV5S网络模型，获得目标检测模型；将图像分类数据集中的样本输入到VIT图像分类网络模型，获得图像特征提取网络模型；将实时图像输入到目标检测模型，获得类别和坐标框并结合图像获得特征数据后进行目标轨迹跟踪，生成煤矸石和杂物轨迹；针对确定态轨迹中的目标，判断前后帧同一目标是否首次跨越检测边界线，将越过边界线的坐标及当前时间戳存储到机械臂待抓取矩阵。本发明有效提高了多目标跟踪的鲁棒性、检测精度和机械臂抓取准确率。