融合单目视觉与力反馈信息的机械臂遥操方法及相关装置

本申请提供一种融合单目视觉与力反馈信息的机械臂遥操方法及相关装置。其中，电子设备通过单目视觉相机得到操作人员操作机械臂时的人体姿态图像；并基于单目姿态估计神经网络模型得到参考坐标系中多个人臂关节的三维坐标；通过机械臂的操作装置得到机械臂在参考坐标系中的末端位姿；根据多个人臂关节的三维坐标与机械臂的末端位姿，得到机械臂各关节的旋转角度，以使机械臂模仿手臂的姿态；根据机械臂各关节的旋转角度对机械臂进行控制。如此，机械臂的操作装置能够得到高精度的末端位姿，单目相机能够以低成本的方式得到手臂各关节三维坐标，结合这两方面的信息即可以较低的成本控制机械臂跟随操作人员的手臂运动。