一种基于分割大模型的3D物体跟踪方法及系统

本发明属于图像处理技术领域，公开了一种基于分割大模型的3D物体跟踪方法及系统，包括获取数据集，并进行预处理，获得连续运动的图像数据；构建轻量化分割模型，将图像数据输入分割模型，对图像进行特征提取，对图像特征进行特征放大，对放大后的图像特征进行遮罩求解，对得到的遮罩进行边缘优化，获得第一概率图；采用颜色直方图法对图像数据进行概率图计算，获得第二概率图，融合第一和第二概率图，将融合后的概率图进行位姿优化，获得位姿矩阵，利用位姿矩阵进行物体跟踪；对轻量化分割模型进行训练，获得训练好的分割模型。本发明设计了3D物体追踪框架Fuse‑Tracker，利用EF‑SAM轻量化分割模型进行计算，获得轻量化效果的同时提高了3D物体追踪精度。