基于情感一致性蒸馏与信息瓶颈的多模态情感分析方法

本发明公开了基于情感一致性蒸馏与信息瓶颈的多模态情感分析方法，方法包括：分别提取图像、文本和音频模态的情感特征，并将多模态情感特征映射为多模态语义向量；随后，将多模态语义向量解耦为模态特定语义向量与模态公共语义向量；通过注意力机制提取模态对之间的情感一致性信号，并通过知识蒸馏机制将该情感关联信息引导融合入模态公共语义向量中；再基于信息瓶颈理论去除模态特定语义向量中的噪声信息；最终将优化后的模态特定语义向量与模态公共语义向量拼接为统一的情感表示，并经分类器输出相应的情感类别。本发明能够有效缓解多模态数据中噪声干扰带来的对齐偏差与信息污染问题，在提升情感识别精度的同时兼顾计算效率和模型稳定性。