摘要
本发明涉及一种基于时间‑空间掩码重建机制的辅助训练及骨架动作识别方法,步骤包括:使用时空图卷积网络处理骨架节点的三维坐标数据组成的骨架训练数据集,得到关于骨架节点的特征表示;分别在特征表示的时间维度和空间维度上进行随机掩码处理,聚合未掩码的特征表示,使用多层感知机对聚合的特征重建生成预测的节点坐标,并分别计算重建的节点坐标与原始坐标之间的平均绝对误差作为时间掩码损失,计算重建的节点坐标与原始坐标之间的平均绝对误差作为空间掩码损失;根据时间掩码重建损失和空间掩码重建损失完成对图卷积网络模型自监督训练。与现有技术相比,本发明能够有效的辅助图卷积网络模型捕获骨架数据中的时空依赖关系,增强模型性能。
技术关键词
骨架动作识别方法
辅助训练方法
节点
卷积网络模型
多层感知机
坐标
连续骨架
人体骨架序列
机制
表达式
样本
数据
图像
分类器
通道
时序
尺寸
视频