一种基于多模态的情绪识别方法及系统

本发明涉及一种基于多模态的情绪识别方法及系统，该系统能够通过综合分析多种生物测量数据，准确地识别和分类用户的情绪状态。该系统包括一个传感器阵列，用于从用户那里收集包括脑电信号、面部图像和语音数据在内的生物测量数据。这些数据首先被数据处理单元接收，并进行预处理，包括应用傅里叶变换生成功率谱密度剖面，使用基于Adaboost的算法从面部图像中检测面部特征，以及从语音数据中提取梅尔频率倒谱系数。接着，通过一个多模态集成算法，将各种处理后的数据特征结合成一个统一的特征向量。此向量随后被一个训练过的深度学习模型使用，根据预定义的情绪类别进行情绪分类，并生成情绪识别结果，最后通过输出单元显示。