标签-特征协同学习的多模态情绪识别方法、介质及设备

本发明提供了一种标签‑特征协同学习的多模态情绪识别方法、介质及设备；方法为：采用多模态情绪识别模型来进行情绪识别；多模态情绪识别模型包括数据采集与预处理模块、情感特征提取器、自适应标签‑特征协同学习模块、多模态交互融合模块和情感分类器；数据采集与预处理模块采集与预处理行为信号和生理信号；情感特征提取器提取单模态情感特征；自适应标签‑特征协同学习模块自适应生成单模态标签，并进行单模态预测；多模态交互融合模块进行特征融合；情感分类器进行多模态预测得到情绪识别结果。该方法能够执行精准的情感标签到特征的语义对齐，以捕获各模态具有判别性的情感特征，有效缓解情感模糊性问题，并提高区分不同情绪的能力。