基于多模态大模型和强化学习的人机交互装配方法及系统

本发明公开了基于多模态大模型和强化学习的人机交互装配方法及系统，包括以下步骤：数据采集模块采集装配环境信息及文本指令，所述文本指令包括由语音指令转换生成的文本指令及由用户直接输入的文本指令；多模态处理模块将装配环境信息及文本指令进行多模态融合，生成多模态信息，将所述多模态信息及已完成任务输入至视觉语言大模型中；视觉语言大模型根据多模态信息和已完成的任务，输出新的任务，再将新任务划分成若干子任务；计算机控制系统利用控制指令库，根据子任务顺序提取对应指令，依序执行对应指令。本发明更全面地理解和处理装配工作环境中的复杂信息，使得大模型能满足日益复杂的装配任务需求。