一种基于模型蒸馏的医疗数据处理方法、系统及介质

本申请公开了一种基于模型蒸馏的医疗数据处理方法、系统及介质，主要涉及医疗数据处理技术领域，用以解决现有蒸馏模型难以有效平衡多模态特征重建、注意力分布匹配与分类任务优化之间的关系、另外，仅针对单一模态进行蒸馏，无法继承跨模态关联知识的问题。包括：获取训练好的第一模型的中间层的隐藏数据，根据预设层数匹配关系将隐藏数据映射至第二模型的中间层；将第一注意力权重矩阵和第二注意力权重矩阵迁移至第二模型；配置第二模型关于分类交叉熵超参数、中间层MSE超参数和权重矩阵KL散度超参数，获得初步第二模型；利用视觉特征序列、词向量序列，训练初步第二模型，获得训练好的第二模型。