一种适用于异构集群的深度学习模型自动并行训练方法

本发明公开一种适用于异构集群的深度学习模型自动并行训练方法，接受训练所需的异构集群与深度学习模型为输入；对于深度学习模型，获取其在训练系统上的执行性能信息；对于训练所需集群，获取集群的执行性能信息，并生成集群的最大同构节点集合与节点集合划分；随后遍历每种节点集合划分，对于其内部包含的所有节点集合，求解该节点集合的最大吞吐量；随后通过基于整数二次规划方法的负载均衡算法求解当前节点集合划分的最大吞吐量，从而求解出所有节点集合划分中的最优策略并输出。本发明支持在异构集群设置下求解给定深度学习模型的最优并行策略。可应用于由同构或异构设备组成的单机多卡、多机多卡等多种分布式训练环境。训练效率高，能耗少。