摘要
本发明提供了一种车内情绪数据的匿名化处理方法及系统,包括:采集多模态情绪数据;对多模态情绪数据对应的进行本地预处理以及多模态对齐处理;通过轻量级识别算法对预处理后的多模态情绪数据中的对应的敏感情绪特征信息进行提取,并将识别处的敏感情绪特征信息统一封装;对各类情绪模态数据分别进行脱敏处理,并将脱敏结果封装与标签同步;通过多模态融合模型对图像、语音与生理信号分别进行深度情绪特征提取,并将所提取的三类深度特征融合得到情绪表示向量;将情绪表示向量输入至预训练情绪识别模型中,输出乘员当前的情绪状态,包括具体情绪类别与对应置信度。本发明实现数据匿名化后再进行情绪分析与传输,确保用户隐私安全的同时不影响系统对情绪状态的准确判断。
技术关键词
多模态情绪
情绪特征
数据
情绪识别模型
分布式麦克风阵列
红外双通道
深度特征融合
语音
精确时间戳
生理传感器
轻量级卷积神经网络
识别算法
图像
差分隐私
标签
频谱特征
乘员
人脸