一种基于自回归训练的语言模型优化方法及相关设备

本申请提供一种基于自回归训练的语言模型优化方法及相关设备，方法包括：构建语言模型的自回归训练框架，基于输入的历史上下文预测后续词的概率分布，其中每一代自回归训练中的概率分布用于生成下一代的合成数据；在每一代训练中，按设定比例将真实数据与上一代模型生成的合成数据混合作为训练数据，其中，真实数据的占比根据训练代数增加而动态降低；利用混合数据训练语言模型，更新模型参数，生成下一代训练所需的合成数据；在每一代训练后，度量当前模型生成的数据分布与真实数据分布的差异，并根据差异动态调整真实数据的占比；通过上述步骤持续优化语言模型的自回归训练过程。有效抑制了语言模型在多轮自回归训练过程中产生的分布漂移问题。