一种面向集群的大模型并行方法、装置和电子装置

本申请涉及一种面向集群的大模型并行方法、装置和电子装置，应用于大模型领域，其中，该方法包括：获取面向集群的大模型在预设微处理批次及预设并行方式下的算子信息，算子信息包括面向集群的大模型中算子的算子时间信息和算子内存信息；集群包括一种或多种类型的加速器；基于算子信息、大模型所需的模型内存信息以及加速器的内存最值，确定大模型中多个流水线的初始算子并行配置策略；根据预设的负载均衡方式，对初始算子并行配置策略进行递归处理，得到目标算子并行配置策略，基于目标算子并行配置策略，运行面向集群的大模型。通过本申请提高了大模型并行配置时芯片计算性能的利用效率，实现了大模型训练的高效性且适用广泛性。