面向流水线并行训练的重计算感知模型拆分方法及系统

本发明公开了一种面向流水线并行训练的重计算感知模型拆分方法及系统，属于计算机科学人工智能领域。本发明方法具体为：使用dijkstra算法以及两层二分搜索，计算重计算感知模型拆分下流水线microbatch的前向传播和反向传播时间之和最小值；并使用搜索过程中dijkstra算法得到的中间结果计算并输出一种重计算感知的近似最优的模型拆分策略。本发明利用Trasformer大模型的模型特征、流水线并行模式的特征，设计了模型拆分方法和系统，对模型非均匀拆分到流水线各个阶段，保证开启重计算时各流水线阶段计算负载均衡，从而提高了大模型流水线并行训练整体性能和集群设备的利用效率。