语言模型的训练方法、装置和非易失性存储介质

本发明公开了一种语言模型的训练方法、装置和非易失性存储介质。其中，该方法包括：将多个初始序列数据分别输入至预设的目标稀疏预测器中，输出多个初始序列数据各自对应的预测参数子集，预测参数子集中包括预设的原始语言模型中的多个层级各自对应的预测参数子集，原始语言模型用于生成文本；基于多个初始序列数据各自对应的预测参数子集，确定目标参数子集；基于预设的训练样本，调整预设的原始语言模型中对应的目标参数子集中包括的参数，得到目标语言模型，其中，训练样本中包括样本文本和与样本文本对应的生成文本。本发明解决了目前在进行语言模型训练的时候因为存在参数数量较多导致模型训练过程耗时长，效率较低的技术问题。