一种基于多视角图神经网络的课堂情绪识别方法

本发明公开了一种基于多视角图神经网络的课堂情绪识别方法，涉及深度学习和情绪识别技术领域，基于视觉特征、语音特征、文本特征，分别构建视觉模态图、语音模态图、文本模态图；各模态图中均以视频段作为节点，以每个视频段对应的视觉特征、语音特征、文本特征分别作为对应模态图的节点特征；利用图注意力网络分别对各模态图进行GAT编码，分别对各模态图中的节点特征进行更新，得到更新后的各模态图；基于更新后的各模态图进行多模态自适应融合，得到多模态自适应融合特征；利用多模态自适应融合特征预测学生的课堂情绪。本发明利用图神经网络构建多视角特征，结合多视角特征融合技术，更全面和准确的识别学生课堂情绪。