一种基于多模态的情绪状态评估系统及方法

本发明公开了一种基于多模态的情绪状态评估方法，其包括步骤：S1：采集待测用户的多模态数据，所述多模态数据包括语音数据、面部微表情数据和面部心率数据；S2：构建多模态深度神经网络，将所述多模态数据输入到所述多模态深度神经网络中，所述多模态深度神经网络利用注意力机制动态调整模态数据的权重，以输出得到融合特征；S3：基于所述融合特征判断待测用户的情绪状态。相应地，本发明还公开了一种基于多模态的情绪状态评估系统，该基于多模态的情绪状态评估系统能够用于实施本发明上述的情绪状态评估方法，以更加精准和全面地考虑患者的生理状况，并对患者的情绪状态进行评估，从而辅助专业心理医师对抑郁症的诊断。