摘要
本发明公开了一种基于问题信息筛选的多模态抑郁症识别方法和系统,方法采用Token稀疏化方法动态检测信息量少的问题,包括:将文本模态问题或音频模态问题作为多模态抑郁症识别模型输入的Token,并在训练过程中维护决策掩码,用于指示删除或保留Token,多模态抑郁症识别模型为基于Transformer或基于Mamba的问题层信息筛选多模态抑郁症识别模型,训练过程中,将决策掩码D随机初始化为可学习的张量,在训练过程中逐步更新掩码并应用Gumbel‑Softmax技术从掩码中采样获得二进制决策掩码,并输出对应的one‑hot张量;推理过程中,使用argmax函数从掩码中得到二进制决策掩码。本发明方法可减少问题数量,加速实际应用中的诊断流程。
技术关键词
多模态
识别方法
稀疏化方法
决策
模态特征
音频
文本
抑郁
深度特征融合
预训练语言模型
情绪识别模型
互补特征
掩码矩阵
动态
识别系统
跨模态
网络
模块
分类器
标识符