一种基于多层次特征融合的多模态抑郁症识别系统

本发明公开了一种基于多层次特征融合的多模态抑郁症识别系统，涉及多模态融合技术领域，所述系统包括：获取单元：用于获取多模态抑郁症数据，对所述多模态抑郁症数据进行预处理，获得多模态数据；第一特征单元：用于对所述多模态数据进行特征提取获得单模态的低级抑郁特征；对所述低级抑郁特征进行特征提取，获得单模态的高级抑郁特征；融合单元：用于时间维度、空间维度和所述高级抑郁特征，获得时空融合抑郁特征；关系图单元：用于所述时空融合抑郁特征和所述高级抑郁特征，获得模态融合关系图E；第二特征单元：用于对所述模态融合关系图E的模态的平衡关系进行处理，获得多模态抑郁特征；预测单元：用于将所述多模态抑郁特征输入抑郁预测模块，获得预测结果，可以解决现有多模态抑郁症识别模型缺少对每种模态内部具有高情绪感知特征的关注和对模态自身内部价值差异的处理，导致模型预测的精准度和泛化能力较差的问题。