一种基于自适应视觉提示的机器人操作规划方法及系统

本发明涉及一种基于自适应视觉提示的机器人操作规划方法及系统。首先获取机器人第一视角图像与任务文本指令，利用预训练的视觉语言模型提取任务相关物体列表及初步定位区域；再结合这些数据做视觉关键点检测，生成操作候选关键点集合及对应像素坐标标注；接着依据任务指令、候选关键点标注等，从集合中选最优抓取点、路径点与目标点，输出其像素坐标及末端执行器目标方向，将坐标机器人坐标系下的三维坐标，并连接，生成末端执行器规划路径；最后结合目标方向与规划路径，求解关节位置并生成连续轨迹，完成操作规划。与现有技术相比，本发明具有减少推理时间且能够高效、广泛应用于多种场景等优点。