大规模分布式深度学习训练优化方法及其系统

本发明涉及人工智能和分布式计算技术领域，特别是涉及大规模分布式深度学习训练优化方法及其系统，包括：采用双阈值稀疏梯度压缩算法，根据梯度分布特性动态调节梯度压缩率；构建参数重要性矩阵，识别关键参数子集，其中参数重要性基于历史更新轨迹；采用异构内存分配器，将梯度更新划分为关键子集与普通子集，基于计算能力与内存情况动态分配；执行参数异步更新策略，关键子集同步更新，普通子集异步更新；配置分层参数服务器，基于网络拓扑感知分配网络通信负载。通过双阈值稀疏梯度压缩算法动态调节压缩率，减少65%‑75%的通信开销，同时保持模型收敛精度。