用于分布式深度学习训练的混合流水线调度方法及装置

本公开提供了用于分布式深度学习训练的混合流水线调度方法及装置。本公开涉及人工智能技术领域，尤其涉及分布式训练、机器学习和深度学习等技术领域。具体方案为：将训练数据划分为N个连续的数据序列，每个数据序列包含K个微批次；对前N‑1个数据序列采用前向‑反向交织调度策略执行计算；对第N个数据序列采用交织式1F1B调度策略执行计算；其中，对第N个数据序列采用交织式1F1B调度策略执行计算，包括：对第N个数据序列中的任一微批次，在其前向计算完成后立即触发反向计算；对任一微批次，在其反向计算完成后立即释放该微批次前向计算生成的激活值所占用的显存。