一种基于双向选择混合专家机制的机器人控制方法、系统、终端及存储介质

本发明公开了一种基于双向选择混合专家机制的机器人控制方法、系统、终端及存储介质，所述方法包括：获取目标本地数据集的任务语言指令和视觉感知图像；根据每个任务语言指令进行场景对象分类，并对每个视觉感知图像进行分割，得到多个图像令牌；对多个图像令牌进行令牌得分计算，并根据初始专家进行专家激活得分计算，确定目标专家；获取每个目标客户端中的专家选择向量，并进行模型参数聚合处理，得到联邦视觉语言动作模型；获取当前任务对应的目标任务指令，并输入至联邦视觉语言动作模型，以使目标机器人执行当前任务。本发明通过将联邦学习与双向选择混合专家机制结合，既保护了用户的隐私数据，又显著提高了机器人的操作能力。