基于多模态动态记忆大模型的学生情感分析方法及系统

本发明公开了一种基于多模态动态记忆大模型的学生情感分析方法及系统，属于多模态情感分析领域。本发明的方法首先获取不同学生观看在线教育课程时的面部表情图像及其对应的真实情感状态类别标签，构成训练数据集，并基于该数据集训练多模态动态记忆大模型，在训练过程中，对图像编码器以及文本编码器进行提示微调，通过动态特征空间存储历史训练过程中产生的视觉聚合表示，由交叉熵损失优化模型参数；最终将待分类的面部表情图像输入到训练好的多模态动态记忆大模型中，输出面部表情图像的情感状态类别预测结果。本发明的方法可以有效地应用于教育领域，有利于教师了解学生的情绪状态，进而提高学生的参与度和学习效果。