一种基于多模态大模型的人机协作机械臂控制方法

本发明提出一种基于多模态大模型的人机协作机械臂控制方法，通过结合装配场景视觉信息、文本指令信息以及prompt信息输入至多模态大模型进行理解和任务分解，生成具有不同功能校验位的操作指令和机械臂控制代码。通过多模态大模型或零部件知识库检索结合DINO‑X模型得到目标物体的像素区域及坐标，根据机械臂末端执行器坐标系与视觉系统坐标系之间的映射关系，转换为机械臂的位姿坐标生成机械臂控制指令，结合具有不同功能校验位的操作指令和机械臂控制代码控制机械臂运动，实现通过多模态大模型结合语音指令、视觉信息推理决策精确、高效地生成机械臂控制指令的同时，克服多模态大模型幻觉问题导致的泛化性差和精度低的问题。