一种基于视觉控制引导的机械臂手势控制方法及系统

本发明实施例公开了一种基于视觉控制引导的机械臂手势控制方法及系统，包括步骤S1：选用相应手势数据集并进行数据预处理和数据增强；步骤S2:用目标检测算法YOLOv5对数据集进行训练，实现人手动作的识别与检测；步骤S3:加入目标跟踪算法Deep‑Sort，在完成手势识别步骤后对人手的运动轨迹进行实时跟踪；步骤S4:搭建机械臂手势识别控制环境，将上述深度学习模型部署到机械臂控制系统中；步骤S5:对机械臂的正逆运动学进行推导，设计机械臂的MPC动力学控制；步骤S6：采用MPC电气控制算法结合视觉模块通过RGB相机实现机械臂跟随人手实时运动。本发明识别手势的精准度高、鲁棒性强，跟踪人手轨迹的准确度、效率高。