AR手术环境中基于颜色注意力的手势识别算法及系统

本申请公开了一种改进的适应手术环境下的手势识别方法及手术用具传递系统。其实现步骤为：利用AR眼镜第一视角捕获图像，同时将当前手术所需要的材料投影到AR眼镜中虚拟呈像辅助手术，将图像通过TCP/IP以及RosConnected传递给ROS系统，对图像进行预处理，利用RegNetCA网络进行手势识别，得到手势识别结果后进入判断门，指导机械臂进行相应物品抓取传递，利用kinova机械臂上的d435i进行物体识别，利用Yolov8识别物体返回物体三维坐标，利用坐标转换将相机坐标系下的物体坐标转换成整体坐标，机械臂得到坐标后达到目标点位进行抓取并将物品传递到指定位置。本发明形成了一个完整的无接触物体传递系统，通过融合颜色的手势识别算法提高了手势识别的准确率。