一种基于视觉语言大模型的机器人控制方法

本发明提供了一种基于视觉语言大模型的机器人控制方法，包括：通过采集人类操作示教数据，训练模仿学习网络；获取图像信息，并基于图像信息生成一系列抓取姿态，并获取抓取姿态质量评分；根据用户输入的文本指令，利用视觉语言大模型对各抓取姿态进行过滤；基于抓取姿态质量评分，选定过滤后各抓取姿态中的某一抓取姿态；根据选定的抓取姿态，控制机器人对待操作物体进行抓取；利用训练好的模仿学习网络控制机器人进行抓取待操作物体并与目标物体进行交互。本方法减少了对大量训练图片的依赖，在应对不同场景式具有较好的泛化性。