一种基于零样本及视觉引导的苹果识别定位及避障方法

本发明公开了一种基于零样本及视觉引导的苹果识别定位及避障方法，利用改进型YOLOV8模型对采摘场景中未知类别对象的识别；通过结合外部知识库Word2Vec构建苹果和树枝的语义嵌入，利用零样本学习方法对采摘场景中未知类别对象的识别；构建识别结果所在处果树三维点云数据，采用α范数约束的凸集迭代收敛点云去噪，更新点云坐标；利用势能函数分割模型进行点云分割；通过点云特征信息的三维重建，获取苹果和障碍物的三维信息；提取在不同时间点树枝的三维空间位置数据形成时间序列数据集，利用LSTM预测树枝的运动轨迹；通过点云的树枝坐标数据和LSTM预测树枝的运动轨迹，利用几何碰撞检测方法，评估预测机器人末端执行器与树枝之间的碰撞风险；利用A*算法规划最优的避障路径。