一种基于时间注意力融合多模态数据的在线学习评价方法和系统

本发明公开了一种基于时间注意力融合多模态数据的在线学习评价方法和系统，整体分为情感以及行为两个维度对于学生的学习状态进行评估。在情感维度利用视频采集设备、心率采集设备、音频采集设备来采集学生在线学习过程中所产生的面部表情数据、心电信号数据、音频数据进行多模态数据的融合，结合时间注意力的在线学习特征融合方法将这些多模态数据进行融合计算分析学生在线学习过程的情感分类，在行为维度上输入先验知识，辅助进行学习状态的评估。最后融合情感维度的分析以及行为端数据的参考，最终生成一个较为准确的评估结果。方便教师监督并提高学生的学习效率，辅助教师进行后续教学方案的设计工作。