权重动态优化方法、装置及电子设备

本申请实施例提供权重动态优化方法、装置及电子设备。本申请实施例中，通过在知识蒸馏的每个训练周期下，先利用当前确定出的稀疏度稀疏化当前第一神经网络中的权重参数得到第二神经网络，之后再利用各训练样本和该第二神经网络进行知识蒸馏，这样通过在训练过程中耦合知识蒸馏和稀疏化形成了知识蒸馏与稀疏化动态协同优化的端到端训练框架，不仅能够弥补稀疏化带来的精度损失，以在实现模型压缩的基础上最大限度地减少精度损失，还能够避免由于将稀疏化和知识蒸馏进行分阶段训练带来的性能下降问题。