一种自然语言处理模型的流水线并行训练方法、系统、终端及存储介质

本申请提供一种自然语言处理模型的流水线并行训练方法、系统、终端及存储介质，所述方法包括：将自然语言处理模型中的各单层模型划分为自注意力模块和前向神经网络模块，并进行模型预训练，得到各个模块的计算时间；将模型中的多个网络层划分为N份网络层，得到多个模型划分方案，并进行模拟计算，得到每个模型划分方案所对应的流水线并行方法的迭代时间；选取出最小的流水线并行方法的迭代时间所对应的模型划分方案，作为目标模型划分方案；将目标模型划分方案所划分出的N份网络层，分配至N个计算设备中，并通过N个计算设备采用流水线并行方式，对自然语言处理模型进行训练。本申请能够提高自然语言处理模型的流水线并行训练的效率。