基于深度学习的三维手部姿态估计和动作识别算法

本发明提供一种基于深度学习的三维手部姿态估计和动作识别算法，方法包括：获取公开第一人称手部动作数据集FPHA并进行预处理，对于处理好的数据集，根据实验条件按照设定比例取视频样本划分为训练集和测试集；建立基于深度学习包含双层transformer和轻量化姿态平滑网络smoothnet的三维手部姿态估计和动作识别模型；将处理后的第一人称手部动作数据集训练集利用分层移动窗口思想按照设定批次输入姿态估计和动作识别模型进行监督训练，将预处理后的数据送入预训练的ResNet模型进行浅层特征提取，然后送入第一层transformer利用编码短时帧间时序信息进行姿态估计并进行平滑优化，第二层transformer在更长的时间跨度上对二维手部姿态、操作物体分类信息、第一层编码时序信息后的特征图进行融合，建模姿态和动作的语义关系进而判断动作类型。通过本发明提出的方法，可以对第一人称手部动作视频进行更高精度的三维手部姿态估计和更高准确度的动作类型判断。