基于异时空多模态信息融合的情感状态评估方法及系统

本发明公开了一种基于异时空多模态信息融合的情感状态评估方法及系统，属于情感识别与监测技术领域。其技术方案为：包括：S1、通过双通道卷积神经网络提取视频信息中的表情和姿态特征，并进行一级融合；S2、利用高斯混合模型和深度神经网络对音频信息中的语音信号进行情感分类；S3、将音频情感等级作为偏置项输入全连接层，实现异时空下多模态信息的二级融合；S4、采用PAD情感模型对情感进行多维度描述，生成情感描述曲线；S5、利用动态时间弯曲方法对各维度情感描述曲线进行处理，生成情感变化趋势曲线。本发明的有益效果为：能够实现对重点监控对象情感状态的精准监测与分析。