一种多模态情绪识别方法及系统

本发明公开了一种多模态情绪识别方法及系统，具体包括如下步骤：步骤一：数据预处理与特征提取，对于情绪脑电，利用EEGLAB工具处理脑电数据，先采用使用零相移FIR滤波器在0.5‑50Hz波段对EEG数据进行带通滤波，消除50Hz线路噪声中的电干扰，采用球面插值法对去除的不良电极位置进行插值，并进行ICA处理以消除非脑相关伪迹；本发明提出的方法充分考虑了不同模态，即脑电信号和人脸表情的空间与时间上下文信息；通过引入时空上下文编码器，能够捕捉不同时间点和空间位置上的关键信息，从而深入理解情绪的动态变化和空间分布特性；这种全面的上下文信息利用对于提高情绪识别的准确率至关重要。