摘要
本发明公开了一种基于大语言模型的可变形物体双臂操作方法,本发明通过将用户的语言目标指令作为输入。与视觉目标信息相比,语言目标指令能够包含更为丰富的语义信息,提供更全面的上下文支持,且能够支持灵活、多样化的任务表达。此外,语言指令的输入方式更贴近人类自然交互习惯,显著降低操作门槛,提升人机协作的紧密度与效率,还提出了一种创新的三层分层规划方法,涵盖子目标分解、折叠对称轴规划及双臂抓取与放置动作规划,能够有效解决复杂可变形物体的操作任务,实现从高层次任务分解到具体操作动作的层次化规划。同时,可以仅基于最终目标来规划多步骤操作动作,在复杂任务场景下展现出良好的性能和适应性。
技术关键词
大语言模型
对称轴
物体轮廓
模型轮廓
多边形
神经网络模型
分层规划方法
指令
机械臂
图像
四边形
参数
人机协作
规划算法
边缘检测
高层次
语义
门槛