一种基于RGB图像的手部旋转角度回归方法

本发明公开了一种基于RGB图像的手部旋转角度回归方法，该方法包括下述步骤：基于RGB相机采集手旋转图像并标注手旋转角度标签，构建得到手旋转角度数据集；将手旋转角度数据集进行数据集划分，划分为训练集和测试集；基于双流卷积结构对手旋转角度数据集的手旋转图像进行特征提取，得到全局视觉特征和局部几何特征；对全局视觉特征和局部几何特征进行加权融合；对手旋转角度回归模型进行训练；输出训练后的手旋转角度回归模型；将训练后的手旋转角度回归模型应用到机械臂末端，通过人手旋转遥操作机械臂末端改变姿态。本发明充分利用RGB相机采集的RGB图像的全局视觉特征和局部几何特征，实现端到端的高精度的手旋转角度回归。