一种设备不变性增强的多模态深度学习模型及其应用

本发明公开了一种设备不变性增强的多模态深度学习模型及其应用，包括输入模块、编码模块、模态融合模块、分类模块、设备对抗分支模块、输出模块和最终总损失函数，咳嗽音频张量和症状描述及人口学文本信息经输入模块转化为向量后，经编码模块提取特征得到音频特征和文本特征；音频特征和文本特征经模态融合模块处理得到最终联合表征后，由分类模块处理得到分类结果及相应概率并由输出模块输出；设备对抗分支模块在训练阶段使音频编码器对抗设备分类头；最终总损失函数在训练阶段引入以优化模型。本发明的模型具有在不依赖特定品牌采集设备的前提下，对多种呼吸系统疾病实现高准确识别的能力，在多设备、多中心数据中展现出色的泛化性能与鲁棒性。