一种基于压缩微调的模型反演防御方法、设备及介质

本发明公开了一种基于压缩微调的模型反演防御方法、设备及介质，属于模型反演防御技术领域，用于解决当前的模型反演防御存在对主任务性能影响大、训练成本高等问题，并已经难以抵御先进的模型反演攻击的技术问题。方法包括：通过公开数据集，对待训练模型进行预训练，得到预训练模型及对应的第一模型权重参数；为预训练模型的每个网络层构建外接压缩网络；其中，网络层包括线性层和/或卷积层；通过隐私数据集，对外接压缩网络进行参数微调，得到第二模型权重参数；将每个网络层对应的第一模型权重参数与第二模型权重参数进行混合，得到混合模型权重参数，并应用于预训练模型中，得到优化模型。