一种基于动作语义引导的自监督骨架行为识别方法、系统、设备及介质

一种基于动作语义引导的自监督骨架行为识别方法、系统、设备及介质，其方法是：首先，获取待训练骨架视频样本并进行预处理；其次，通过动作语义生成模块生成预处理后人体骨架数据集中每类动作的语义原型，即生成对应动作文本语义特征；另外，将预处理后的人体骨架数据集输入到特征增强模块(FAM)，实现骨架数据增强，生成对应动作的骨架特征；最后，使用多模态融合模块融合对应动作的动作文本语义特征和骨架特征，辅助模型从语义层面学习更具区别性和代表性的动作表示，提升模糊动作识别精度，通过对比学习的方法，以自监督的方式旨在保证模型识别性能的同时降低对大规模标注数据的依赖，实现基于骨架的人体动作分类；其系统、设备及介质基于动作语义引导的自监督骨架行为识别方法，对人体动作进行识别分类，具有准确性高和鲁棒性好的优点。