摘要
本发明提供了一种情绪座舱的人因工程测试方法及系统,包括:步骤S1:获取多源数据,包括:面部图像、语音信号以及生理信号;并对获取的多源数据分别进行预处理,得到预处理后的多源数据;步骤S2:基于预处理后的面部图像、语音信号以及生理信号分别进行特征提取,得到面部表情特征向量、音频特征向量以及生理状态特征向量;步骤S3:基于面部表情特征向量、音频特征向量以及生理状态特征向量构建多模态融合向量;步骤S4:构建联合情绪识别模型,多模态融合向量利用构建的联合情绪识别模型进行情绪分类;步骤S5:情绪类别根据环境调节策略通过AI系统自动调节座舱环境参数。
技术关键词
情绪识别模型
工程测试方法
工程测试系统
座舱
生理
面部关键点
梅尔频率倒谱系数
语音
麦克风阵列采集
多模态特征融合
深度学习分类
引入注意力机制
AI系统
车内摄像头
音频
图像
对象
信号