一种混合专家模型的高效推理方法

本发明提出一种混合专家模型的高效推理方法，通过将门控网络的计算集成到流水线中，优化流水线策略、改进数据同步机制和路由算法，实现计算与通信任务的高效并行，减少通信带宽浪费，并降低额外通信开销，从而提升大规模语言模型的部署效率和性能，解决了现有技术中计算与通信任务未能充分重叠、通信带宽浪费以及额外通信开销等问题。