摘要
本发明公开了一种基于多模态的课堂群体学习情感补偿方法、设备及介质。方法包括以下步骤:获取课堂教学过程的多模态数据;对各种多模态数据,分别应用不同的情感识别模型进行处理,得到情感识别结果;所述情感识别结果至少包括人脸识别结果、光线识别结果与声纹识别结果;根据所述情感识别结果,对课堂教学进行情感补偿操作。本发明通过获取课堂教学过程的多模态信息,使用对应的情感识别模型从课堂的多模态信息中分析得到课堂的教学活动场景以及学生的情感状态,并通过预设的情感补偿操作为课堂提供更好的教学氛围。
技术关键词
人脸情绪识别模型
补偿方法
多模态
发言者
情感识别模型
图像分割
声纹识别模型
数据
模块
教学场景
照度
课堂教学活动
声纹特征
光照
面部表情识别
音频
短时傅里叶变换
时间序列模型
图像块