一种基于多模态情感计算的对话情绪原因分析方法及系统

本发明涉及一种基于多模态情感计算的对话情绪原因分析方法及系统。首先从包含文本模态、音频模态和视频模态的多模态数据中提取各模态特征并提取局部上下文特征，输出多模态局部上下文对话特征；再将多模态局部上下文对话特征映射为异构图中的节点和边，构建多模态异构图；然后基于多模态异构图和注意力机制，进行多尺度语义融合，输出含有情绪上下文嵌入和原因上下文嵌入的话语向量；最后将不同话语向量进行匹配，生成包含情绪类别、情绪话语索引和原因话语索引的三元组分析结果。与现有技术相比，本发明具有准确性高等优点。