一种基于反馈预训练语言及视觉模型的机器人系统与方法

本发明公开了一种基于反馈预训练语言及视觉模型的机器人系统与方法；S1机器人操作环境的信息感知；S2提示工程Prompt模板设计，将机器人动作基元函数、个人偏好、任务反馈等信息作为Prompt生成输入数据；S3基于输入数据以及环境中的图像信息采用预训练大语言模型以及视觉语言模型获得机器人操作任务的代码、开始的目标掩码图像；S4根据生成的机器人操作任务代码，通过逆运动学求解、机械臂与相机的坐标转换等方法，生成机器人的操作轨迹，执行操作任务；S5机器人执行结束后，将结束后的目标掩码图像输入到任务反馈模型。本发明能够实现机器人完成语言指令所指示的任务目标的同时不需要大量的模型训练过程和数据收集过程，具有操作性强、方便易用的特点。