一种多模态情绪判断HMI人机交互方法

本发明提供一种多模态情绪判断HMI人机交互方法，属于多模态的人机交互技术领域，本发明通过采集面部特征，识别面部关键特征点结合表情分类算法实现面部特征的判断；通过采集脑电图信号实现对信号的处理，结合不同频段信号变化进行情绪判断。通过实时记录log信息实现面部和脑电图信号的时间轴同步。通过数据处理，分别从面部表情和EEG(脑电图)信号中提取特征，然后将这些特征组合成一个新的特征向量用于综合的判断。本发明提高了识别和预测的精度，可解决被测者面部伪装造成的情绪判断失败。