基于多模态大模型的机器人控制方法

基于多模态大模型的机器人控制方法，解决了现有基于大模型的机器人控制方法的泛化性和适应性的问题，属于机器人控制领域。本发明包括：多模态规划大模型根据用户的要求和历史行为记录，解构出子任务序列，指令生成模型根据解构出的子任务序列生成相应控制指令，并存入划指针队列中；规划指针管理规划指针队列中的控制指令，正常执行完的控制指令被移入历史行为记录中；训练时，通过人机交互对规划控制进行评判，执行效果好的规划内容存入优秀数据集中，利用优秀数据集对多模态规划模型和指令生成模型进行微调优化；利用优化后的两个模型和规划指针对机器人进行控制。