基于多模态大模型的人机共融机械臂自适应抓取方法及系统

本发明涉及一种基于多模态大模型的人机共融机械臂自适应抓取方法及系统，其中方法包括以下步骤：获取任务区域的多模态传感数据，所述多模态传感数据包括视觉数据、触觉数据和描述任务的语言指令，其中，所述视觉数据包括RGB信息和深度信息；将多模态传感数据转换为描述文本；将描述文本输入大模型，由大模型进行语义规划，生成机械臂动作策略，所述机械臂动作策略包括路径规划策略和抓取策略；基于运动规划器控制机械臂按照机械臂动作策略进行动作，并通过人类反馈调整抓取策略，完成抓取任务。与现有技术相比，本发明具有能够实现形状、大小、质地各异的物体的精确抓取等优点。