基于异构硬件的模型训练方法、装置及电子设备

本公开涉及一种基于异构硬件的模型训练方法、装置及电子设备；确定并行策略，利用并行策略将模型训练任务划分为多个异构硬件分别对应的训练任务，并分配给对应的异构硬件，以使各个异构硬件执行相应的训练任务；在各个异构硬件执行任务时，获取表征资源利用情况的任务执行信息，利用任务执行信息对各个异构硬件进行资源调度。通过并行策略实现训练任务分配，保证各个异构硬件的训练任务执行效率和效果，通过各个异构硬件分别的资源调度，实现资源利用率和负载的优化。从而，在基于异构硬件的模型训练场景下，提高各个异构硬件的任务执行效率和效果，实现资源利用率和负载的优化，进而提高模型训练的效率和效果。