融合跨模态数据的师生情感分析方法

一种融合跨模态数据的师生情感分析方法，由划分数据集、提取多模态特征、转换跨模态特征、构建情感分类网络、训练情感分类网络、验证情感分类网络、测试情感分类网络步骤组成。本发明的多模态特征交互融合网络的第一交互融合模块将言语特征与视、听特征交互融合形成补充视、听信息后的言语文本融合特征和多模态特征；第二交互融合模块挖掘多模态特征与言语文本特征、视听嵌入特征的内在关联关系，获得高级潜在多模态特征和多模态情感表征，多模态情感表征输入情感分类器进行分类。本发明具有跨模态数据信息互补、情感分类结果准确等优点，适用于教育教学场景中的师生情感分类。