一种基于说话人和时序信息联合图网络的不完整多模态对话情绪识别方法及系统

本发明公开了一种基于说话人和时序信息联合图网络的不完整多模态对话情绪识别方法及系统，通过特征提取模块获取对话中文本、语音和视觉三种模态的深层特征，利用预训练模型确保特征的高表达能力，随机模态缺失模拟模块有效模拟真实场景中的数据不完整情况，提升模型的鲁棒性；双向长短时记忆网络(Bi‑LSTM)结合时序图网络(TGNN)捕捉对话的上下文和时间动态特性，同时通过说话人影响矩阵建模说话人之间的交互关系，实现时序与说话人信息的联合建模；图卷积网络进一步提取深层特征，增强特征的情感判别性；最终，模态重建和情绪分类模块通过重构缺失模态和多类情绪预测，显著提高不完整多模态对话情绪识别的准确率和鲁棒性，适用于复杂现实场景中的人机交互和情感分析应用。