一种情感语义多模态抑郁倾向识别系统

一种情感语义多模态抑郁倾向识别系统。属于多模态识别预测技术领域，具体涉及多模态抑郁倾向识别预测技术领域。其解决了目前的抑郁检测设备无法解释判断抑郁症的依据，无法在结果中提供临床决策所需的有效信息这一技术问题。首先根据主题建模对访谈记录进行主题提取，然后使用关键帧生成方法为每个视频片段生成关键帧。接下来，使用不同主题访谈文本中的情感语义信息作为监督，来解释与关键帧相关的面部活动；通过CLIP模型，在表征特征和可解读的情感语义信息之间建立了联系，从而有效地跨模态传递了主题和语义知识；所提出的框架还可以为辅助疾病诊断任务中提供有效的临床决策结果信息提供启发。