一种基于多模态对比预训练模型的学生情感识别方法

本发明公开了一种基于多模态对比预训练模型的学生情感识别方法，涉及机器学习技术领域，包括以下步骤：对多模态数据进行数据增强，多模态数据包括图像和音频；进行特征提取，再将特征映射到隐藏空间中得到各自的嵌入表示；计算图像域对比损失；计算音频域对比损失；计算图像‑音频一致性损失；计算总损失函数，基于总损失函数进行训练并得到预训练模型；利用预训练模型，使用少量有标签数据进行微调，最终实现对学生的情感识别。本发明采用上述一种基于多模态对比预训练模型的学生情感识别方法，解决了单模态数据捕捉情感信息不充分、跨模态信息融合困难以及对大量标注数据依赖的问题，从而提升了情感识别的准确性和鲁棒性。