基于多模态大模型的具身机器人操作轨迹生成方法及系统

本发明公开了基于多模态大模型的具身机器人操作轨迹生成方法及系统，属于人工智能技术领域。方法包括：获取视觉、语言及机器人输入数据并进行预处理后分别映射至高维空间，得到视觉、语言及机器人输入向量；将上述输入向量分别输入至原始多模态大模型和专家模型中进行训练，获得初步训练好的多模态大模型和训练好的专家模型；利用生成式大模型生成对训练好的专家模型的调用数据，形成指令微调数据集输入至初步训练好的多模态大模型中进行训练，获得最终训练好的多模态大模型；基于机器人操作数据及最终训练好的多模态大模型，生成机器人操作轨迹。本申请有效解决了现有机器人操作低泛化性、低精度、难以适应多变的环境和任务需求的问题。