一种基于脑电与眼动多模态信号的情感识别方法

本发明涉及情感识别技术领域，尤其涉及一种基于脑电与眼动多模态信号的情感识别方法，包括：构建HMSB‑CAF模型；已提取的脑电和眼动特征被输入HMSB‑TransNet模型，经过层级式多尺度分支残差变换，实现高阶特征向低维空间的映射，从而获得更加丰富且与情感相关的特征表示；利用典型相关分析(CCA)在深度特征空间约束两类模态的统计相关性；通过可学习的参数化注意力向量动态计算两类模态的权重系数；根据权重和特征贡献实现自适应融合，获得优化的联合表征并输入分类器完成情绪判别。本发明解决了现有跨文化情感识别方法中模态特征深层挖掘不足及模态信号二阶干扰影响显著的问题。