一种基于对抗网络的情感信息提取方法和情感识别方法

本申请涉及一种基于对抗网络的情感信息提取方法和情感识别方法，其中，该情感信息提取方法包括：分别对多模态数据中的文本数据、视觉数据和音频数据进行提取，对应得到文本特征、视觉特征和音频特征；通过对抗网络模型将三者映射到共同的潜在子空间以提取得到共有信息；通过对抗网络模型区分三者之间的不相同信息以提取得到异质性信息；融合共有信息和异质性信息以得到多模态表征，其中，多模态表征用于表征待提取目标的情感信息。通过本申请，考虑到了多模态数据之间的异同，通过GAN提取不同模态的异质性信息和模态之间的共有信息，实现了通过该异质性信息和共有信息来提升模态融合的效果，解决了情绪识别中多模态数据融合质量较差的问题。