异构硬件集群分布式训练方法、装置、电子设备及介质

本申请提供了异构硬件集群分布式训练方法、装置、电子设备及介质，属于计算机技术领域。该方法包括：基于待训练模型和异构硬件，确定异构并行训练策略；基于异构并行训练策略以及异构硬件，构建用于执行待训练模型的模型训练任务的进程网格；不同进程网格与异构硬件中的不同硬件类型具有映射关系；进程网格被调用后在具有映射关系的硬件类型对应的异构硬件上执行；基于异构并行训练策略以及映射关系，构建进程网格之间的异构通信组；调用进程网格执行所述待训练模型的模型训练任务。本申请的技术方案可以实现任意多款硬件集群混合，实现异构集群的高效扩展，可以基于待训练模型和异构硬件确定优选的异构并行训练策略，提供更加灵活的并行策略。