一种基于知识蒸馏与联邦学习的多模态重症病型分类系统

本发明公开了一种基于知识蒸馏与联邦学习的多模态重症病型分类系统，该系统包括如下步骤：初始化阶段，用公共模型参数初始化各个客户端的本地模型参数与全局模型参数；预训练阶段，通过Tconv+3个全局轮次的联邦训练，得到所有客户端平均结果的收敛轮次Tconv；在蒸馏训练阶段，进行T个全局轮次的训练，若当前训练轮次小于等于所有客户端平均结果的收敛轮次，利用分类损失更新本地模型参数，否则利用总损失更新本地模型参数，直至所有客户端的平均结果在三个全局轮次内不再提高为止；蒸馏训练阶段中，所有客户端的平均最高结果为最终重症病型分类的结果。本发明在保护患者隐私的同时，能够有效提高参与联邦学习的各个客户端上重症病型分类的性能。