一种基于音频和文本的多模态情感识别方法及应用

本发明提出了一种基于音频和文本的多模态情感识别方法及应用，属于人工智能计算领域，旨在解决现有情绪识别技术在复杂环境下准确率较低的问题。通过结合语音和文本信息进行预训练，生成语音情感识别模型和文本情感识别模型，并从音频中提取频谱图和MFCC特征，得到高阶音频特征。随后，通过注意力网络融合文本与音频特征，最终输入时序分解因果卷积块进行情绪分类识别。本发明通过多级特征的学习提升了识别的鲁棒性和泛化能力，显著提高了识别准确率，特别是在复杂环境下表现出色。