一种基于多模态大模型的工业机器人装配方法与系统

本发明公开了一种基于多模态大模型的工业机器人装配方法与系统，所述装配方法包括以下步骤：接收用户语音指令；识别语音指令及对应的语音特征，转换为文本信息输入大语言模型中；大语言模型收到输入文本后，经过自定义的prompt结构，生成视觉语言模型的交互代码；机器人使用成像装置获取场景信息，融合视觉语言模型与交互代码，还原当前场景物体的外观及空间位置，生成价值地图；根据装配任务的需求，对机器人的末端执行器执行姿态调节任务；将价值地图作输入运动规划器，生成机器人的空间移动路径；机器人沿空间移动路径移动到目标位置，执行装配任务。本发明减少了数据收集和处理的成本和时间，并提高装配工作的效率和准确性。