一种基于视觉的机器人的控制方法、系统、设备及介质

本发明公开一种基于视觉的机器人的控制方法、系统、设备及介质，属机器人控制领域，方法包括：步骤1，用与机器人通信的摄像头按预设时间间隔获取包含机器人和环境的三张图像，将三张图像用强化学习帧栈堆叠得到输入图像数据；步骤2，用训练好的卷积特征编码器对输入图像数据编码得出输出表征数据；步骤3，将输出表征数据输入到基于额外奖励训练好的多层感知决策模型映射为一个最优动作，使机器人执行该最优动作来进行最优控制。本发明采用基于外奖励训练好的多层感知决策模型，能从长期累积奖励中编码任务相关信息，使用信息瓶颈约束来去除任务无关的特征，进而增强机器人的视觉泛化能力，提升基于视觉控制的机器人的控制准确性。