基于深度图和点云融合的自适应图三维手部姿态估计方法

本发明公开了基于深度图和点云融合的自适应图三维手部姿态估计方法，涉及三维手部姿态估计领域；该方法包括如下步骤：采用点云全局特征捕获器基于3D点云数据提取3D点特征，采用2D自编码器基于深度图像数据提取局部2D视觉特征，将3D点特征和局部2D视觉特征融合形成超级点特征进行特征编码；基于超级点特征进行关节点嵌入初始化和补丁初始化；采用图Transformer且结合自适应注意力机制，对关节点嵌入初始化和补丁初始化后的超级点特征进行解码，自适应加权局部细节和运动对应关系，进行手部姿态估计。本发明充分利用了深度图的2D局部视觉信息和3D点云提供的完整的三维几何信息，优化了模型的建模能力。