摘要
本发明公开了基于注意力机制和3D残差网络的双模态情感识别方法,本发明提出了基于注意力机制和3D卷积的双模态情感分析模型,以突破二维卷积神经网络时序方向特征提取不足的限制;同时采用决策融合的方式整合视觉、音频双模态特征信息的进行情感分析,并在此基础上加入注意力神经网络,以提高模型对关键视觉及音频关键信息的敏感性。
技术关键词
情感识别方法
注意力神经网络
注意力机制
残差网络
音频特征
通道
图像
视频
空间注意力网络
二维卷积神经网络
MFCC特征
情感分析模型
ReLU函数
融合视觉
文件夹
采样率
情感类别