一种基于视觉关键点引导的机器人灵巧操作方法及系统

一种基于视觉关键点引导的机器人灵巧操作方法及系统，方法包括：S1、建立基座坐标系，然后依据基座坐标系求解初始关键点，并基于初始关键点对灵巧手进行定位，求解抓握工具时机械臂末端姿态；S2、灵巧手通过预先建立的粗手势库并依据抓握工具时机械臂末端姿态对工具进行抓取；S3、利用灵巧手移动工具，再次识别移位后的新的关键点，并依据新的关键点计算工具头部坐标系与基座坐标系间的变换矩阵以及目标物体坐标系与基座坐标系间的变换矩阵；S4、计算工具头部对目标物体操作的末端位置，直至灵巧手手握工具完成对目标物体的操作。本发明将灵巧手与目标物体交互过程转为物体与手部关键点的对齐，符合灵巧手抓握工具时的规律，具有极强的泛化性。