基于深度学习的多尺度层次融合的多模态情感分析方法

本发明提供一种基于深度学习的多尺度层次融合的多模态情感分析方法，包括：从公开数据集中获取到文本、语音和视觉(图像)的初始特征；将文本、语音和视觉的特征的嵌入维度固定到相同的大小；将文本特征、语音特征和视觉初始特征输入局部特征提取和全局特征提取模块；局部特征提取模块从文本、语音和视觉的初始特征中学习到文本、语音和视觉的局部特征；全局特征提取模块从文本、语音和视觉特征中学习到文本、语音和视觉的全局特征；将局部特征和全局特征的输出连接起来输入到分类器中得到情感预测结果。