一种基于任务类型驱动的MoE模型路由优先级调度方法

本发明公开了一种基于任务类型驱动的MoE模型路由优先级调度方法，其该方法首先基于数据集构造器，根据任务类别和原始数据语料库，构造不同结构的预训练和微调数据集。其次设计模型预训练阶段第一专家选择优先的调度策略，包括构建第一专家选择优先的调度和组合索引以及基于所有Token的第一专家选择优先的计算过程。最后设计微调阶段K个专家选择优先的调度策略，包括构建K个专家选择优先的调度和组合索引以及基于真实Token的K个专家选择优先的计算过程。本发明在保证MoE模型预训练阶段模型精度的前提下，提高训练效率，并保证微调任务完全是精度无损的。