大语言模型训练方法、装置、计算机设备、介质和产品

本申请实施例提供一种大语言模型训练方法、装置、计算机设备、介质和产品，涉及模型训练技术领域。该方法先通过文本数据对初始MOE模型进行预训练，得到MOE预训练模型，然后通过第二训练集对MOE预训练模型进行多任务训练，使得训练得到MOE对话模型可以根据输入数据生成与输入数据相关的输出结果，从而完成各种不同的任务。最后，对MOE对话模型进行用户偏好引导，得到MOE奖励模型，以便于对MOE对话模型的输出结果进行评价，从而优化MOE对话模型的模型参数。本申请实施例中，使用MOE模型替换传统的稠密模型，通过MOE模型中的多专家子模型实现模型的不同功能，使用更少的推理显存实现多种功能。