混合专家模型的训练方法、装置、计算机设备、可读存储介质和程序产品

本申请涉及一种混合专家模型的训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。该方法包括：获取与大模型输入关联的混合专家模型的训练样本集；训练样本集包括大模型的输入数据以及输入数据对应的输入解析标签信息；将训练样本集中的目标样本输入混合专家模型，得到混合专家模型中每个专家模型的激活概率信息、混合专家模型的目标输出结果和加载专家模型的子输出结果；根据每个专家模型的模型参数、目标样本、目标输出结果和子输出结果，得到专家区分奖励信息；根据激活概率信息、专家区分奖励信息、目标样本和目标输出结果，对混合专家模型进行迭代训练，得到训练完成的混合专家模型。采用本方法能提高混合专家模型鲁棒性。