一种基于多模态时空特征融合的武术动作评分与识别方法

本发明涉及一种基于时空特征融合的武术动作评分与识别方法，包括五个步骤：步骤1，创建武术动作质量评分与识别视频数据集；步骤2，将步骤1整理的武术视频数据集转换为动作骨架输入时序语义对比模型当中，进行时间编码器的预训练；步骤3，将步骤2整理的骨架序列分别输入网络的时间编码器与空间编码器，得到深层与浅层时间序列特征与空间序列特征；步骤4，使用步骤3中的多模态序列特征，通过动作识别编码器预测帧序列动作种类分类结果，通过评分模型预测动作得分；步骤5，使用步骤4得到的网络模型进行系统的移植，设计出对于武术评分与识别的应用。本发明可以准确的评分，给武术比赛自动化评估带来一种新思路。