一种基于心理访谈的多模态心理问题检测系统

本发明提出一种基于心理访谈的多模态心理问题检测系统，属于人机交互领域。所述系统包括数字医生交互模块、多模态情感分析模块、结构化概率模型、语义分析模块、额外医学信息提供模块；数字医生交互模块采集音频信息及视频信息，发送给多模态情感分析模块；多模态情感分析模块计算最终预测结果发送给语义分析模块；额外医学信息提供模块收集额外医学信息注入语义分析模块；语义分析模块通过计算得出患病概率输入到结构化概率模型；结构化概率模型通过马尔科夫决策过程进行建模，结合语义分析模块输入的患病概率，通过状态转移概率来决定下一步问题的选择。本发明将开放式的医患问答过程抽象为模型，通过这一模型对心理面诊流程进行定量化描述。