基于视觉语言动作模型的铰接物体机器人抓取方法

本发明公开了一种基于视觉语言动作模型的铰接物体机器人抓取方法，将铰接物体放在元宇宙环境渲染，使用铰接物体的几何中心点作为核心参考点，采用六个实例表示法标记铰接物体，建立样本数据库；基于六个实例表示法，生成六种训练任务；基于LLaMA2、SPHINX‑X构建视觉语言动作模型，按照训练任务及样本数据库分别对所述视觉语言动作模型进行监督训练，获得最优的视觉语言动作模型；构建联合优化器，通过分解铰接物体操纵序列规划任务，从所述视觉语言动作模型输出结果中选择最佳结果；使用S3步获得的最优视觉语言动作模型和联合优化器确定铰接物体机器人抓取方法。