一种大规模模型的混合并行计算方法、系统、设备及介质

本申请涉及一种大规模模型的混合并行计算方法、系统、设备及介质，通过将初始大模型中参数量中大于预设参数量的多个算子替换为多个代理算子，根据多个代理算子，得到初始大模型完整的计算图，再根据流水线并行度，利用计算图划分算法，对计算图进行划分，得到多个子图，再根据各个子图的计算量，将多个子图分配至流水线并行的计算设备中，再根据张量并行度，将子图中的代理算子复原成应用于张量并行的算子，进而能够基于训练数据和多个子图进行三维混合并行训练，使得用户在进行大模型设计时，只需在单机训练模型的基础上，设置数据并行度、流水线并行度和张量并行度，能够降低一般用户设计并行训练的大模型的难度，能够提高大模型设计的效率。