跨模态注意力融合的教学语音情感识别方法

一种跨模态注意力融合的教学语音情感识别方法，由划分语音情感数据集、微调预训练模型、构建语音情感分类网络、训练语音情感分类网络、测试语音情感分类网络组成。本发明的语音情感分类网络的4个学习模块将语音特征和语义特征融合形成情感信息的融合特征；拼接融合特征输入全连接分类模块进行语音情感识别。采用本发明方法与现有的语音情感识别进行了对比仿真实验，实验结果表明，本发明方法语音情感识别的准确率为78.14％，能够有效地识别课堂教学环境下教师语音的情感，与现有技术相比，本发明具有语音特征、语义特征、情感识别结果准确等优点。可用于分析教师课堂教学过程中情感变化对教学活动的影响。