一种基于VAFNet的多模态情绪识别方法及系统

本发明公开了基于VAFNet的多模态情绪识别方法及系统，方法如下：S1.对视频数据集进行预处理、采样，转化为峰值帧序列；S2.将视频中的音频信号提取为一维时序信号并预处理，得到音频的Mel声谱图；S3.将视频峰值帧序列输入ResNet18模型提取空间特征得到面部空间特征，通过一维卷积整合时间信息，得到视频特征向量；将步骤S2得到的Mel声谱图、处理后的音频信号分别输入OCANet模型和WaveNet，提取谱特征和原始波形特征，得到Mel特征向量和波形特征向量；S4.对提取Mel特征向量、波形特征向量与面部空间特征输入基于交互注意力机制的特征融合模型得到交互特征向量，将Mel特征向量、视频特征向量及交互特征向量进行拼接融合得到多模态特征向量，进行情绪分类，输出情绪分类结果。