基于情感动态追踪的多模态情感分析方法及装置

本发明提供了一种基于情感动态追踪的多模态情感分析方法及装置，可用于自动化质检电力客服行业的通话场景。本发明采用多模态情感分析技术，弥补了单一模态的不足，通过图神经网络（GNN）融合语音中的情感特征与文本中的情感信息，图结构凭借其独特的拓扑结构和动态信息传播机制，有效地整合了不同模态之间的内在关系和相互作用。为了贴合客服‑客户的多轮对话场景，本发明添加了情感动态追踪模块，构造话语对之间的拼接特征，此模块能够有效动态追踪客户情感状态的变化，即使客户情绪状态突然转变也能灵活识别。该模块不仅加深了模型对情绪动态的理解，还通过类似于对比学习的策略约束了主任务的网络参数。