一种基于多模态融合的残疾人情感状态判断方法

本发明公开了一种基于多模态融合的残疾人情感状态判断方法，属于多模态融合技术领域，包括：步骤一、通过传感器获取用户的音频、视频与生理信号原始数据；对音频、视频与生理信号数据进行预处理；步骤二、识别原始数据，提取得到音频特征数据、视觉特征数据、生理信号特征数据；步骤三、将所述音频特征数据、视觉特征数据、生理信号特征数据应用模态解耦合策略，实现对模态一致性与异质性的学习；步骤四、将分离出的模态特定特征通过自注意力机制进行融合，基于多模态特征来进行情感识别，最终得到情绪变化识别结果。基于多模态信息对情感状态进行判断，提升准确率。