基于注意力机制的多模态情感融合与用户情感意图理解方法及系统

本发明提供了一种基于注意力机制的多模态情感融合与用户情感意图理解方法及系统，涉及多模态情感识别技术领域。本发明首先通过采集语音、文本、图像和生理数据，构建多模态对话数据集，并进行数据预处理。然后，利用改进的卷积神经网络(CNN)和长短时记忆网络(LSTM)提取并编码多模态情感特征，生成特征集。接着，采用动态模态加权机制，根据当前对话情境实时调整各模态特征权重，并通过自适应噪声抑制策略和生成对抗网络优化特征集。最后，通过混合交叉熵注意力机制进行特征融合，将融合特征输入情感分类器，生成情感类别的概率分布向量，并识别用户意图，以实时生成交互反馈并展示。该方法有效提升了情感分析的准确性和响应灵活性。