基于典型相关分析的对比学习音视频情绪识别方法

本发明提出了一种基于典型相关分析的对比学习音视频情绪识别方法，实现步骤为：获取训练样本集和测试样本集；构建基于典型相关分析的对比学习音视频情绪识别网络模型并对其进行迭代训练；获取音视频情绪识别结果。本发明CCA模块通过对图神经网络模块输出的对数梅尔频谱图和标准图像帧集合增强后的图结构的四组嵌入特征进行归一化，实现音频、视频特征在共享特征空间中的语义对齐，并结合基于InfoNCE对比损失的对比学习，拉近了同一样本音频特征和视频特征之间的语义距离，同时推远不同样本音频特征和视频特征之间的语义距离，从而实现音频特征和视频特征的深层次语义对齐，有效提高了音视频情绪识别的准确率。