一种基于多层蒸馏的多模态融合情绪识别方法

本发明属于情绪识别技术领域，具体提供一种基于多层蒸馏的多模态融合情绪识别方法，用以解决现有情绪识别方法存在的诸多问题；本发明构建教师‑学生多层蒸馏模型，教师模块采用两路分支，一路分支对眼电信号和脑电信号进行图形化处理后提取图像特征，另一路分支对眼电信号和脑电信号提取时序特征，并利用通道注意力机制进一步增强，融合两路分支的特征后进行分类；将教师融合特征作为学生多层蒸馏模块的指导经验，学生模块均以预处理后的信号数据作为输入，经过双向长短期记忆网络，提取包含丰富时空依赖关系的初始特征，传递至全连接层生成此学生模块的特征表示；最后将多次蒸馏的结果融合进行情绪识别，有效提高情绪识别结果的准确度。