机器学习模型混合并行策略自动搜索的方法及系统

本发明提供了一种机器学习模型混合并行策略自动搜索的方法及系统，其中系统包括：算子间并行策略搜索模块：该模块首先查询算子间性能开销模型，然后根据当前阶段算子间的性能开销来进行策略搜索。其中，算子间性能开销模型计算相应的流水线阶段开销。算子内并行策略搜索模块：该模块采用缩点消边的动态规划算法进行数据并行与张量并行的策略搜索。它先查询算子内性能开销模型，再进行策略搜索。而算子内性能开销模型通过使用基于执行的方法进行计算开销预估，同时使用基于计算的方法进行通信开销预估。本发明的搜索算法相比已有工作的搜索算法，具有更低的理论时间复杂度，能够更快地得出搜索结果，并还能保证搜索得到的策略质量。