一种适用于网络和设备异构环境的深度学习模型训练方法

本发明涉及模型训练技术领域，尤其是提供了一种适用于网络和设备异构环境的深度学习模型训练方法。该方法包括设计改进后的混合并行策略；根据改进后的混合并行策略，构建基于动态规划的模型划分与任务放置方案；根据改进后的混合并行策略以及基于动态规划的模型划分与任务放置方案，设计自适应加权半同步的混合训练机制，该方法实现了通信负载的合理分配，提高了硬件利用率和整体的训练效率。