协作学习下基于注意力机制的多模态情感识别方法及设备

本发明公开了协作学习下基于注意力机制的多模态情感识别方法，获取样本和对应的情绪状态，基于样本生成训练集、验证集、以及测试集；构建协作学习多模态情感识别模型；定义协作学习多模态情感识别模型的损失函数；基于训练集对协作学习多模态情感识别模型训练；将待预测的样本输入到训练完成的协作学习多模态情感识别模型，输出对应的预测情绪状态。本发明提出结合多头自注意力机制和改进的高效加性注意力模块的特征融合方法，能够有效捕捉跨模态全局依赖关系和局部上下文一致性，从而实现更好的情感识别精度。