流水线并行网络、模型训练、图像识别方法和装置

本公开提供了一种流水线并行网络，涉及人工智能技术领域，具体涉及计算机视觉、深度学习、大模型等技术领域，可应用于人工智能的内容生成等场景。具体实现方案为：流水线并行网络用于训练流水线并行模型，网络包括：位于不同计算设备的子网络，每个子网络包括：模型层以及控制层；其中，模型层基于相邻子网络的输出，得到路由权重以及隐藏状态；控制层用于禁止路由权重的输出，降低了流水线并行网络的通信开销。