基于DAG结构深度学习模型任务放置的流水线训练优化方法

本发明提供一种基于DAG结构深度学习模型任务放置的流水线训练优化方法，包含：异构GPU集群中计算节点内的并行模式确定问题、不同计算节点间的并行方案组合问题、有向无环计算图的任务放置问题。本发明首先设计了一种异构集群节点内的GPU并行模式求解算法，以获得适用于节点内部的所有可用的并行模式。然后针对每个计算节点的并行方案选择问题，利用隔板法确定不同类型节点的并行方案。最后通过贪心思想，设计有向无环图结点任务放置算法，分配深度学习模型对应的有向无环图中的每一个结点，基于流水线混合并行总时间为执行时间最长的阶段的训练时间这一原理，最终得到整体训练时间最小的最优方案。本发明提高了效率，可靠性高。