基于约束对抗网络的双注意力跨模态情绪识别系统

本发明实施例提供一种基于约束对抗网络的双注意力跨模态情绪识别系统以及系统的模型训练方法。该系统包括：多个基于多头自注意的生成器、多头交叉注意层、共同联合空间、多个与所述生成器对应的解码器、模态鉴别器及情绪分类器。本发明实施例采用了两种注意力机制来有效地提取单模态和多模态特征。在解读脑电图和眼动来进行情感识别方面取得了出色的表现。并通过对抗学习编码了共同联合空间。在训练过程中通过对齐单模态信息与模态间互补信息构建共同联合空间，以减小不同模态之间的分布差异。并在测试过程中，将单模态转换为共同联合空间的表示，情绪识别中实现了与多模态相当的性能。