一种基于延迟感知的自适应分布式训练方法、设备及介质

本申请公开了一种基于延迟感知的自适应分布式训练方法、设备及介质，涉及分布式训练技术领域。方法包括：监测分布式集群中节点的网络状态数据，网络状态数据包括节点间通信延迟、资源利用率和数据包丢失率；基于网络状态数据构建网络质量评估模型，生成网络质量评分；使用时间序列预测模型对通信延迟进行多步预测，并结合历史梯度传输数据建立延迟梯度补偿；根据网络状态数据和预测结果，利用强化学习框架调整训练参数，并采用时效性加权梯度聚合，根据梯度年龄和节点延迟调整聚合权重。本申请通过上述方法实现了在不同网络环境下实现智能化的训练过程优化，适用于跨数据中心训练、边缘计算协同训场景。