基于自蒸馏的模型压缩方法、系统、设备以及存储介质

本申请涉及机器学习技术领域，公开了一种基于自蒸馏的模型压缩方法、系统、设备以及存储介质，该方法包括：获取样本数据，并将样本数据输入预设的神经网络模型，进行分类处理，得到对应的分类结果，并确定分类损失；根据分类损失，对预设的神经网络模型中的参数进行调整，重新计算分类损失；当重新计算得到的分类损失满足预设条件时，基于对应调整后的神经网络模型中的自蒸馏模块对样本数据，进行分类处理，得到对应的软目标；基于样本数据对应的分类结果与样本数据对应的软目标，确定自蒸馏损失；根据分类损失和自蒸馏损失，继续进行调整，得到训练后的模型。本公开减少了计算成本，提高了模型压缩的灵活性和适用性，实现高效的模型压缩。