一种基于多阶段关节点增强的手部姿态重建方法

本发明公开了一种基于多阶段关节点增强的手部姿态重建方法。本发明方法提出了一个多阶段关节增强网络，其第一阶段由只训练指尖关节位置和掌根关节位置的网络构成；其第二阶段则是结合来自特征提取器获取的输入图片特征和第一阶段输出的12个关节点，通过Transformer模块和从图片中提取的特征进行联合推理，以增强剩余30个关节点位置预测的准确性。本发明将视觉模态和几何模态结合起来，通过多模态融合来提高模型对剩余30个关节点位置的预测能力，从而增强关节点预测准确性。