模型数据加载方法、装置、设备、存储介质及程序产品

本公开实施例公开了一种模型数据加载方法、装置、设备、存储介质及程序产品，所述模型数据加载方法包括：基于分布式模型训练系统所包含的第一设备的数据加载能力、所述第一设备之间的拓扑结构和待处理的模型数据，从所述第一设备中确定参与数据加载的第二设备；所述数据加载能力用于体现所述第一设备在加载数据时的处理效率和所占用的网络带宽；所述待处理的模型数据为训练过程中的特定时间点保存的模型状态的相关数据；将所述待处理的模型数据加载至所述第二设备，以通过所述第二设备将所述待处理的模型数据分发至所述分布式模型训练系统中的参与模型训练的设备。如此，可以显著提高数据加载的效率和带宽利用率，增强系统的鲁棒性和可靠性。