跨模态情绪识别模型的训练方法、电子设备和存储介质

本发明实施例提供一种跨模态情绪识别模型的训练方法、系统、电子设备和存储介质。该方法包括：将多种不同模态的初始情绪数据输入至跨模态情绪识别模型；基于每种模态的情绪相关编码器的输出之间的差距，得到第一对比损失；基于每种模态各自的情绪相关编码器的输出以及情绪无关编码器的输出的差距，得到第二对比损失；基于解码器得到重构情绪数据以及初始情绪数据确定重构损失；基于历史融合特征以及未来特征确定用于辅助模态对齐的预测损失；基于第一对比损失、第二对比损失、重构损失以及预测损失对所述跨模态情绪识别模型进行预训练。本发明实施例需要任意一个模态的情绪数据，可以用该模态对应的编码器和分类器进行情绪识别。