利用连续剪枝函数进行2:4稀疏预训练的方法和装置

本发明提供一种利用连续剪枝函数进行2:4稀疏预训练的方法和装置，涉及深度学习技术领域，所述方法包括：获取目标模型的原始权重；其中，所述目标模型为带有线性层的深度神经网络或大模型；基于所述原始权重，在所述目标模型正向传播前执行固定比例的剪枝操作，得到稀疏权重；将预先获取的训练数据输入至所述目标模型中，按照所述稀疏权重和所述目标模型的层次结构进行逐层计算，得到输出结果；其中，所述训练数据包括文本数据、图像数据或视频数据。通过本发明提供的方法，在模型进行正向传播前进行剪枝操作，得到稀疏权重，使用稀疏权重完成正向传播，在优化模型的同时保持较高的精度。