一种基于专家负载预测和序列并行的混合专家模型通信优化方法

本发明公开了一种基于专家负载预测和序列并行的混合专家模型通信优化方法，先通过实时采集MoE模型训练迭代中的专家负载数据，结合滑动时间窗口维护机制对专家负载进行在线监测与分析，并基于距离差分算法动态调整滑动窗口大小，以构建专家负载的时变特征表达空间；建立历史的专家负载的时变特征表达空间与未来专家容量需求的映射关系，并通过专家负载预测方法实现专家容量的弹性调度；基于序列并行的专家计算通信并行，根据专家间训练数据的独立性和专家负载的时变特征表达空间，对MoE模型中的全局Al l Gather的通信进行专家级别的拆分，并通过流水线方式将单个专家的Al l Gather通信与计算任务并行执行。