一种基于Mamba的多模态对话情绪识别方法及系统

本申请提供了一种基于Mamba的多模态对话情绪识别方法及系统，属于对话情绪识别领域；解决了目前多模态情绪识别方法存在的记忆能力有限、未充分利用信息和长序列融合有噪声累积等问题；包括以下步骤：采用不同的预处理方式对不同模态下的对话数据进行处理，得到对应的特征编码；对不同的特征编码进行卷积和信息嵌入；采用外部注意力捕获每个模态内部的语义信息；使用交叉融合机制实现不同模态间的交互；采用卡尔曼滤波过滤各个模态中的噪声并建立模态之间的联系；使用分组池化和交叉注意力将不同模态的语义信息进行融合后再与卡尔曼滤波的结果进行融合，得到融合结果；将融合结果映射到预定义的情绪类别中；本申请应用于多模态对话情绪识别。