用于非均匀异构芯片的最优并行策略及其搜索方法、装置

本发明涉及一种用于非均匀异构芯片的最优并行策略及其搜索方法、装置。其中方法根据数据并行维度约束、异构芯片数量约束和张量并行维度约束，获取第一候选集合，第一候选集合包括所有种类异构芯片的数据并行维度、张量并行维度和流水线并行维度组合；根据映射约束、搜索空间约束和显存约束进行模型层数分配，确定并行策略候选集合，并行策略候选集合包括所有种类异构芯片的数据并行维度、张量并行维度、流水线并行维度和模型层数组合；对并行策略候选集合中的每种组合，计算单次迭代时间，并选取单次迭代时间最低的组合作为最优并行策略。与现有技术相比，本发明具有实现千卡级大规模异构芯片的负载分配和调度并达到最优流水线执行效率等优点。