一种基于混合保留度的专家大模型训练方法

本发明公开了一种基于混合保留度的专家大模型训练方法，包括：在选定基础大模型的任意层后面插入混合保留度层，得到专家大模型；对混合保留度层进行设置；所述混合保留度层由M个专家组成，其中每个专家均具有预先设定的参数；在混合保留度层中引入路由模块，根据输入特征动态选择专家，通过高斯噪声向量增加路由的随机性；并通过设置策略来设置M个专家的参数值；通过任务相关的损失函数和负载均衡损失函数以训练混合保留度层，在训练过程中，混合保留度层保持可训练状态，而专家大模型的其他部分保持冻结状态。本发明设计的负载均衡损失，使得每个专家被充分训练；并且从源头保证每个专家存在差异性。