一种基于混合专家并行机制的通信调度方法

本发明属于大规模深度学习模型训练技术领域，具体为一种基于混合专家并行机制的通信调度方法。本发明的通信调度方法，包括构建负载均衡模块、通信资源分配模块和并行化调度模块三部份，根据专家模型的受欢迎程度与计算负载情况，对专家模型的参数切片与映射策略进行动态调整实现负载均衡；改变通信库的原语执行模式，使All‑Reduce操作支持异步执行，并通过多线程机制并行处理All‑to‑All和All‑Reduce通信任务。在模型训练过程中实现负载均衡和节点间All‑to‑All通信与节点内All‑Reduce通信的并行化。本发明在保持数据一致性的同时，充分利用链路带宽，减少通信等待时间。实验结果表明，在混合专家模型训练中有效提升GPU利用率，减少训练时间。