基于多模态深度学习的抑郁症早期筛查方法及其系统

本发明涉及抑郁症早期筛查方法技术领域，特别是基于多模态深度学习的抑郁症早期筛查方法及其系统，包括以下步骤：获取被试的多模态数据，多模态数据包括生理信号、语音、面部表情和文本内容；对多模态数据中的每个模态数据，分别使用多分支深度神经网络进行特征提取，并对提取到的特征进行融合，构建被试的原始特征向量；使用具有前馈全连接层的Transfor mer作为风险评估模型，利用原始特征向量训练Transformer，得到被试对应的风险评估模型；以及将待预测的被试数据输入风险评估模型，得到该被试出现抑郁的风险评估结果。这种多维度的交叉验证大大提高了筛查结果的可靠性，减少了单一特征可能带来的误判。