基于跨模态注意的教师动作识别方法

一种基于跨模态注意的教师动作识别方法，由数据集构建、数据预处理、生成增强骨架序列、生成动作文本序列、构建动作识别网络、训练动作识别网络、测试动作识别网络组成。由于本发明采用由骨架编码器与文本编码器并联构成的动作识别网络，在训练步骤中，提高了运算速度、精度以及识别的准确率，缩短了运算时间；在训练动作识别网络步骤中，采用跨模态对比损失函数Lc，实现了融合语义文本提示的跨模态特征表达。采用本发明与7种现有的动作识别方法在教师日常行为数据集和动作识别公开数据集NTU‑RGB+D‑60上进行了对比实验，实验结果表明本发明的Top‑1准确率均有提升，显著优于各对比实验，验证了本发明的有益效果，可用于教师动作识别。