一种基于跨模态同异性交互的多模态情感识别方法

本申请涉及一种基于跨模态同异性交互的情感识别方法，旨在解决现有多模态情感识别模型中模态间特征交互单一、特异性情感特征丢失以等问题。本申请通过多尺度编码器提取语音、文本和视频模态中的多尺度情感特征，利用中心损失函数增强同类情感特征的聚集性；采用参数共享的Transformer编码器和交叉注意力机制提取模态间同一性情感特征，同时引入正交损失函数保留各模态的特异性情感特征；最后通过双门控融合与增强全局交互模块实现同一性与特异性特征的深度交互，构建更具判别力的情感表征。本申请在IEMOCAP、RAVDESS和eNTERFACE'05数据集上未加权准确率(UA)平均提升1.7％‑5.1％，可广泛应用于心理健康监测、智能客服和人机交互等领域。