一种基于多模态强化学习的机器人卫星装配方法及系统

本发明提供一种基于多模态强化学习的机器人卫星装配方法，涉及机器人技术领域。所述一种基于多模态强化学习的机器人卫星装配方法由多自由度空间机械臂系统、力觉感知系统、视觉感知系统以及基于多模态感知的强化学习系统实现，视觉感知系统获取卫星零件的二维码靶标信息以及轴图像信息；力觉感知系统获取机械臂末端的力和力矩信息；将获取的双视角视觉感知信息，传输到基于多模态感知的强化学习系统中，通过多模态强化学习算法对系统中的多个决策网络进行训练，获得训练好的决策网络，采用导纳控制算法输出位置调整策略以及姿态调整策略；多自由度空间机械臂系统控制机械臂完成卫星装配任务。采用本发明，可提高空间机器人卫星装配的工作效率。