基于稀疏神经网络的大语言模型训练方法和装置

本发明提供一种基于稀疏神经网络的大语言模型训练方法和装置，包括：对于每个训练步数，在当前时刻是结构调整时刻的情况下，根据当前训练步数确定目标稀疏度，根据所述目标稀疏度和结构演化准则确定剪枝边集和生长边集，根据所述剪枝边集和生长边集调整待训练模型的网络结构；在当前时刻不是结构调整时刻的情况下，根据当前训练步数利用混合稀疏注意力机制确定注意力步长，根据所述注意力步长对所述待训练模型进行参数更新。本发明结合动态演化的稀疏网络结构和混合稀疏注意力机制对待训练模型进行训练，以同时保持模型性能和最大限度地减少训练计算开销。