基于边端协同大模型的具身智能执行与训练方法及装置

本发明公开一种基于边端协同大模型的具身智能执行与训练方法及装置，该方法向机器人本体发送语音指令，机器人本体将其转换为文本指令，并将文本指令、机器视觉反馈及视觉图像发送至边缘侧单元；边缘侧单元中设有多模态大模型；多模态大模型将所述文本指令、机器视觉反馈及视觉图像进行推理，推理后获得文本指令的意图，并根据其生成任务分解指令，发送至机器人本体；机器人本体根据任务分解指令，调用底盘移动API及原子技能库API，完成目标任务；当目标任务完成后，机器人本体向边缘侧单元反馈过程算法数据与执行成效，边缘侧单元根据反馈进行后训练升级。本发明能够有效降低大模型推理时延和成本，降低云服务器负载，提升数据安全和隐私性。