摘要
本发明涉及基于情绪维度补偿的图卷积多模态对话情绪识别方法。属于多模态情绪识别领域。包括:利用预训练模型分别提取文本、音频和视觉模态的原始特征;并检测模态缺失情况,利用可用模态特征与上下文信息生成伪特征;将多模态特征映射到VAD三维空间,进行预测与增强;全局层面基于VAD相似性连接跨话语节点,量化情绪一致性以捕捉远距离交互;局部层面通过计算同一话语内不同模态特征间的相似性,进行信息传播与节点更新;通过多层图卷积聚合邻居信息,动态调整节点权重以抑制噪声传播,最终经均值池化操作融合多模态特征生成话语级情绪表征。本发明的方法显著提升模态缺失场景下的情绪识别性能。
技术关键词
多模态对话
情绪识别方法
预训练模型
融合多模态特征
情感类别
多层感知机
远距离交互
文本
音频
节点更新
超参数
视觉特征
节点特征
多模态情绪
情感分类器
BERT模型
门控循环单元
系统为您推荐了相关专利信息
知识图谱数据
命名实体识别方法
预训练模型
文本
命名实体识别技术
混合神经网络模型
多模态情感分析
生成对抗网络
互动反馈方法
强化学习算法
芯片架构
预训练模型
分区策略
全局通信
编译系统
深度迁移学习
深度学习模型
卷积神经网络模块
故障类别
双向长短期记忆网络
安抚方式
情绪特征
人脸图像信息
情绪识别方法
车载设备