基于分层交互对齐网络的多模态情感识别方法及装置

本发明公开了一种基于分层交互对齐网络的多模态情感识别方法及装置，涉及数据处理领域，包括：构建多模态情感识别模型并利用层次表示分布对齐层对齐进行训练，得到经训练的多模态情感识别模型；获取目标域人群中的其中一个待识别人员的脑电数据与眼动数据对并输入到经训练的多模态情感识别模型，依次经过特征提取模块和分层自适应交互注意力模块，得到待识别人员对应的最终跨模态特征，待识别人员对应的最终跨模态特征和目标域数据对应的最终跨模态特征输入到少样本学习模块，得到待识别人员属于每个情感类别的概率值，选择概率值最大所对应的情感类别作为待识别人员的预测情感类别。本发明解决多模态情感识别中个体差异大、样本数量有限的问题。