交错式流水线并行训练方法、装置、设备、存储介质和程序产品

本发明实施方式公开了交错式流水线并行训练方法、装置、设备、存储介质和程序产品，属于人工智能技术领域。方法包括：基于计算单元数、分块数和大模型的总层数，确定每个分块包含的层数，其中每个分块包含的层数是可配置的；基于计算单元数、分块数和大模型的总层数，确定每个分块包含的层数包括下列中的一个：基于计算单元数、分块数和总层数，以气泡时间为指标而确定每个分块包含的层数；基于计算单元数、分块数和总层数，以显存消耗为指标而确定每个分块包含的层数；基于计算单元数、分块数和总层数，以气泡时间和显存消耗为指标而确定每个分块包含的层数；基于每个分块包含的层数，对大模型执行交错式流水线并行训练。可以提高训练效率。