基于多模态数据融合的心理与认知负荷的评估方法

本申请提供一种基于多模态数据融合的心理与认知负荷的评估方法，包括如下：步骤1：采集被试者的眼动数据，从眼动数据中提取眼动特征向量；步骤2：捕捉被试者的面部表情图像，通过图像识别从面部表情图像中获得面部皮肤纹理特征，从面部皮肤纹理特征中提取面部表情特征向量；步骤3：采集被试者的语音信号，提取语义特征向量；步骤4：采用特征级融合对被试者的眼动特征向量、面部表情特征向量和语义特征向量进行拼接，形成联合特征向量；步骤5：以联合特征向量作为输入，训练心理与认知负荷评估模型；步骤6：向训练后的心理与认知负荷评估模型输入新的联合特征向量，基于输出序列与设定的阈值作比较得到心理与认知负荷的评估结果。