一种分布式模型训练优化方法、系统、介质及产品

一种分布式模型训练优化方法、系统、介质及产品，涉及模型训练领域，通过采用上述技术方案，训练优化系统将终端设备划分为多个设备组并在每个设备组中设置中继节点，在满足预设同步条件时不再需要一一发送至终端设备，只需发送至中继节点即可，实现了模型参数的分级传输。在计算出参数差值后，训练优化系统筛选待更新参数，同时根据待更新参数的同步频率，确定高频同步参数集合和低频同步参数集合，以在不同时刻发送不同待更新参数，这种差异化的参数同步策略，既保证了重要参数的及时更新，又避免了频繁传输所有参数带来的性能瓶颈，显著降低了网络通信开销，从而提高了分布式训练的整体效率。