基于说话者关系的多模态对话情感-原因对抽取方法

本发明提出一种基于说话者关系的多模态对话情感‑原因对抽取方法，该方法包括：输入多模态对话至特征提取器中结合说话者编码器进行特征提取；对多模态特征利用多模态图卷积网络进行特征交互与融合；利用前馈网络对最终的综合特征表示进行分类和预测；利用情感方面的表示和原因方面的表示进行候选情感‑原因配对，利用说话者关系矩阵指导候选情感‑原因配对的抽取，并利用专家网络和门控网络进行分类预测，得到情感‑原因对的预测结果。本发明通过创新性地构建了说话者关系矩阵，将动态变化的社会关系网络纳入情感‑原因对提取的考量范围，克服了现有方法采用简单点积运算评估话语对关联性的局限。