基于脉冲神经网络和注意力机制的多模态情绪识别方法

本发明公开了一种基于脉冲神经网络和注意力机制的多模态情绪识别方法。该方法首先获取多模态数据集；然后输入多模态特征提取层中获取对应的热力图特征；再把对应的热力图特征输入多模态特征融合层基于自注意力机制进行特征融合，并引入小波阈值函数对特征空间进行对齐突出关键特征得到融合特征；最后判断是否受到对抗攻击，有选择的引入脉冲神经网络，使用包含卷积嵌入层、卷积位置编码层、卷积注意力层和多模态分类器对融合特征进行识别得到对应的情绪，在降低多模态的计算复杂性及能耗的同时，提高多模态系统的鲁棒性以及分类识别的准确性。