一种基于视频流的愤怒情绪识别方法

本发明公开了一种基于视频流的愤怒情绪识别方法，属于情绪识别技术领域。本发明通过对来访人员的视频流进行预处理，获得时空对齐的标准化面部图像序列、3D骨架序列以及语音片段；利用3D‑ResNet34网络和微表情光流增强算法对标准化面部图像序列进行特征提取，获得光流面部特征；利用时空图卷积网络对3D骨架序列进行特征提取，获得肢体动作特征；对语音片段进行特征提取，获得语音特征；利用多头时空交叉注意力机制和膨胀时序卷积算法，对所述面部特征、肢体动作特征以及语音特征进行融合处理后，通过动态权重分配分类输出愤怒情绪识别结果。本发明从整体上大幅度提升了系统对愤怒情绪识别的准确性。