模态缺失条件下进行对话情绪识别方法、系统及产品

本发明公开了一种模态缺失条件下进行对话情绪识别方法、系统及产品，首先构建包含缺失模态的上下文情境图，并根据时序类型定义边；每个语句定义为一个节点；定义一个“上下文影响权重”指标，包括全局和本地上下文影响权重；然后构建时序关系图卷积网络，通过关系图卷积网络集成时序表示并捕获语句的模态间关系，重建多模态特征；接着通过过滤不同说话者对应节点之间的边，并删除时序类别为“现在到现在”的边，同时调整注意力权重，增强来自同一说话者的特征；最后使用情绪感知对比学习，预测情绪类别。本发明在处理缺失模态方面表现出强大的稳健性和有效性，它能够很好地适应不同程度的模态缺失，并在更高的缺失率下提供更好的情绪识别能力。