摘要
本申请公开了一种基于双超图神经网络的情感识别方法及系统,涉及多模态情感识别技术领域,本申请通过多尺度注意力机制对各模态初始特征进行增强所得到模态增强特征构建情感增强超图,通过将情感增强超图中的模态增强特征节点与相连接的情感概念节点聚合,使情感增强超图能够捕捉模态增强特征与情感特征之间的关系,实现对模态增强特征的情感增强,通过各情感增强模态特征之间的模态间超边信息构建模态交互超图,使得通过模态交互超图生成的多模态融合交互特征能够反映不同模态增强特征之间的高阶交互关系,能够更全面地体现情感信息,有效提升了情感识别的准确性。
技术关键词
情感识别方法
模态特征
节点特征
多尺度注意力机制
交互特征
矩阵
时序
概念
融合特征
全局平均池化
多模态情感识别
情感识别设备
对抗性
情感识别系统
通道
输出特征
数据