基于多模态大模型的机器人控制方法、系统、设备及介质

本发明涉及机器人控制技术领域，公开了一种基于多模态大模型的机器人控制方法、系统、设备及介质，通过采集作业任务所处场景的多源模态数据并通过机器学习模型进行处理，得到多模态特征以进行位置编码及Transformer融合处理，得到多模态融合特征，将其与所构建的作业任务知识库输入至大语言模型中对目标作业任务进行分解，并引入人在回路机制对分解结果进行优化，得到子任务序列；根据子任务序列中的子任务类型，通过视觉语言动作模型或强化学习模型对子任务序列进行处理，生成运动指令以使机器人启动目标作业任务的执行进程；通过多模态大模型LLM、VLA等对带电作业任务进行处理，提高了自主配网带电作业机器人的作业效率。