面向语音识别噪声场景下多模态情感分析方法及系统

本发明涉及面向语音识别噪声场景下多模态情感分析方法及系统，属自然语言处理领域。本发明通过多层次聚类方法，在模态内充分利用样本情感得分信息弥补文本模态在语音识别后损失的情感语义信息，之后在模态间根据不同样本的情感得分信息辅助对比学习进行跨模态情感信息的精炼，最后得到蕴含丰富情感语义的融合模态表示。本发明在包含语音识别噪声的真实世界数据集上进行了广泛实验，结果证明了本发明在面对语音识别噪声干扰时表现出更好的鲁棒性和泛化能力。