一种基于惯性动捕信息知识蒸馏的视觉动捕方法

本发明公开了一种结合惯性动捕信息蒸馏的视觉动捕方法，本方法提出了惯性动捕信息知识蒸馏网络。在训练阶段，相机和IMU同时采集数据作为输入，相机获取视频图像后通过特征提取网络，检测每个像素上存在关节点的概率值，生成人体关节点热力图；IMU通过姿态解析初始化，记录初始位置，利用测得的加速度进行数值积分，计算出人体在图像中的关节点坐标，并映射到热力图上。一并输入到知识蒸馏网络。知识蒸馏网络将相机和IMU的热力图加权融合，再与IMU热力图逐元素相加，经分类器得到关节点融合预测分布；同时，相机关节点热力图经分类器预测分布，用KL散度损失函数监督训练。验证时，仅需输入相机图像，网络即可准确输出人体关节点坐标。