一种基于异构GPU的分布式训练系统、方法、装置、存储介质、电子设备及产品

本发明涉及人工智能与分布式计算技术领域。本发明公开了一种基于异构GPU的分布式训练系统、方法、装置、存储介质、电子设备及产品。其中系统包括：统筹模块用于获取待训练模型的模型结构，对模型结构进行分块处理得到多个模型块，将多个模型块分发至各GPU处理模块中；多个GPU处理模块同步执行对待训练模型的训练任务，统筹模块接收各GPU处理模块传输的每一模型块的模型更新参数，基于每一模型块的模型更新参数形成待训练模型的参数计算图。多种GPU类型的GPU处理模块为模型训练过程提供所需算力，支持大计算量的模型训练过程，实现基于异构GPU对AI模型的分布式训练，提高模型训练效率。