基于多模态数据分析模型的精神疾病辅助诊断方法及系统

本发明公开了一种基于多模态数据分析模型的精神疾病辅助诊断方法及系统，首先采集用户接受问诊时人脸表情数据、语音数据和文本数据，并进行预处理；然后提取多模态特征，包括预处理后人脸表情数据、语音数据和文本数据的特征；最后将所述多模态特征输入多模态数据分析模型，输出分类结果；本发明设计了可同时收集用户在“观影‑读诗‑数字医生问诊”多阶段实验流程中的文本、语音、面部表情异构多模态数据的采集方法；设计了异构多模态数据后处理以及异构多模态精神疾病分析模型，以辅助医生智能诊断并提升医生看诊效率。本发明基于多模态数据采集、分析，开发一体化系统，实现了常见精神疾病患者的智能辅诊，节省了人工成本。