一种基于视觉语言模型与人类反馈的机械臂操控方法

本发明提供了一种基于视觉语言模型与人类反馈的机械臂操控方法，所述方法步骤包括：a)获取场景信息：通过摄像机实时获取机械臂和场景中物体的状态；b)根据用户指令生成控制代码：利用大语言模型将用户指令分解成多个子任务，并组合调用预定义的API生成控制代码；c)验证生成的控制代码：通过视觉语言模型对代码验证，判断控制代码完成用户指令；d)执行控制代码：按照子任务的顺序依次执行控制代码，判断该步骤是否执行成功；e)故障修复与人机交互：反馈任务未按预期完成的原因，并根据用户反馈重新生成控制代码。本发明使机械臂能够理解并执行用户的自然语言指令，并在出现异常情况时通过与用户沟通，使其能够更加符合用户期望地完成各种任务。