一种基于视频动捕与干扰预测技术的机械臂控制方法

本发明公开一种基于视频动捕与干扰预测技术的机械臂控制方法，该方法包括以下步骤：步骤1，通过单摄像头采集人体动作视频；步骤2，利用Mediapipe大模型提取3D骨骼关节点数据，获得目标动作序列；步骤3，通过ROS发布实时运动参数对机械臂进行控制；步骤4，使用双目摄像头捕捉实际动作序列，与目标动作序列做差值；步骤5，步骤4，将GPIO与MPC模型预测相结合，对视觉传输引起的干扰进行估计；步骤五，对预测的时延干扰进行反馈压制。本发明针对具有扰动和时延的机械臂实时追踪人体动作问题给出了减少机械臂时延干扰的控制器设计方法。本发明具有一定的控制性能，能够有效减少时延干扰对系统控制的不利影响问题。