通过动态样本放置加速多GPU上混合专家模型训练的方法和系统

本发明属于信息技术领域，涉及一种通过动态样本放置加速多GPU上混合专家模型训练的方法和系统。该方法利用专家路由中的数据局部性与训练设备间的网络局部性，在混合专家模型的训练过程中根据专家路由结果动态调整训练样本的位置；利用动态调整后的训练样本的位置加速All‑to‑All通信并优化混合专家模型的训练速度。本发明对All‑to‑All通信的成本进行建模，并将动态样本放置问题表述为一个组合最优化问题，随后将其分为两个阶段来简化求解，并设计了相应的多项式时间算法，以确保样本放置位置可以被高效求解。本发明可以在不影响收敛性、不引入额外开销的情况下，加速All‑to‑All通信，优化混合专家模型的训练速度。