基于虚拟模态课程学习的不完整模态情绪识别方法、系统

本发明涉及基于虚拟模态课程学习的不完整模态情绪识别方法、系统，属多模态情绪识别领域。包括：将提取的完整模态低级特征送入模态编码器获取完整模态高级特征，基于样本级对比学习损失和分类损失训练模态编码器，利用模态编码器输出的模态特征进行情绪识别；将有模态缺失的单模态缺失的低级特征送入模态编码器获得单模态缺失的高级特征，利用对比学习将虚拟模态与真实模态的语义空间对齐，最后将虚拟模态输入分类器进行情绪识别；对不同模态缺失情况进行难度划分设置课程，将不同课程阶段的缺失数据送入有模态缺失的模态编码器中的处理流程进行训练。本发明能在一定程度上提升不确定的缺失模态场景下多模态情绪识别性能。