一种高延迟低带宽场景下的高效数据并行训练方法

一种高延迟低带宽场景下的高效数据并行训练方法，通过动态联合优化梯度压缩率与延迟步长，基于实时网络状态构建通信‑计算权衡模型，自适应调整参数以平衡精度与效率；利用误差反馈机制补偿压缩损失，减少高压缩率下的精度衰减；结合延迟梯度聚合策略控制同步频率，实现计算与通信并行化；周期性监测网络条件并更新参数，解决传统独立优化策略在动态环境中的协同缺陷。实验表明，在32节点、100Mbps带宽及500ms延迟条件下，相比D‑SGD和DD‑EF‑SGD方法，本发明的训练效率分别提升5.07倍和1.24倍，显著优化了跨广域网等通信受限场景的分布式训练性能。