一种深度学习并行策略自动生成方法及系统

本发明涉及一种深度学习并行策略自动生成方法及系统，方法包括：对深度学习模型计算图进行细粒度的数据依赖分析，记录张量之间的细粒度数据依赖关系和依赖路径；合并数据依赖关系和依赖路径，形成子图序列；组合子图的并行切分策略以构建子图并行策略空间；推导不在子图序列中的算子的并行切分数据维度，补全深度学习模型计算图的算子切分方式；求解代价最优的全局并行策略。本发明极大地缩减了张量的并行空间，可显著降低张量的并行决策的搜索时间。本发明避免了构建张量的并行空间时粗暴组合每个算子的并行策略，在对并行性没有影响的情况下合并算子，去除掉了大量算子并行策略的无意义组合。