一种基于时空结构优化的微动作识别方法

一种基于时空结构优化的微动作识别方法，首先，对待训练的微动作视频样本进行预处理；其次，设计时空结构优化模块STM，在空间维度上实现自适应增强关键特征，在时间维度上，交互融合相邻时间帧之间的信息，增强微动作识别模型的时间建模能力；随后，设计微动作联合嵌入损失，包括交叉熵损失和语义嵌入损失，在计算语义嵌入损失时，分别将视频特征和微动作标签映射到共享的联合嵌入空间，生成视频特征嵌入向量和微动作标签嵌入向量，并缩短视频特征嵌入向量和微动作标签嵌入向量之间的距离，实现视频特征与微动作标签的语义对齐，以区分视觉上相似但语义上不同的微动作类别；最后，在微动作联合嵌入损失的监督下，预测视频的微动作标签，实现微动作识别分类；本发明提高了动作分类的准确性和鲁棒性。