一种面向同步流水线模型并行的动态模型层调度方法

本发明公开了一种面向同步流水线模型并行的动态模型层调度方法，包括在前向计算阶段，模型训练信息沿前向传递直至流水线末端节点；所述模型训练信息包含模型层信息、当前时隙模型划分，以及节点状态信息；在后向计算阶段，流水线末端节点基于动态预测算法，预测并更新全局节点状态信息；流水线末端节点以最小化同步流水线并行系统训练时间为目标，建立优化问题模型，计算最优划分并将结果后向传递给所有上游节点；参与层迁移的节点调用层管理器完成迁移准备工作，并在参数更新结束后迁移模型层，当层调度结束后开始下一批次的前向计算阶段。本发明通过设计调度方法，避免监测的额外开销，提供动态预测能力，使其更好地适应资源的动态变化。