基于注意力机制与图神经网络的多模态对话情绪识别方法

本发明涉及情绪识别领域，具体涉及一种基于注意力机制与图神经网络的多模态对话情绪识别方法。提出了一种基于注意力机制与图神经网络的多模态对话情绪识别模型MTG‑ERC，该模型构建了多层次Transformer融合模块，利用多头自注意机制与跨模态注意力机制，高效捕捉模态内与模态间的信息交互。针对注意力机制在建模短期依赖方面的局限性，进一步构建有向多边关系图融合模块，借助有向图结构与多边关系实现多模态信息的高效融合。两模块的联合输出使模型能够全面整合全局与局部的对话情绪特征，增强模态内外的情绪交互，有效提高了模型整体性能。