一种分布式稀疏深度学习模型训练加速方法

本发明公开了一种分布式稀疏深度学习模型训练加速方法，应用于以交换机为中间层的分布式深度神经网络训练系统中的交换机，步骤包括：获取工作节点计算的梯度并进行网内聚合，将聚合后的梯度缓存到多层的哈希桶中；将所述哈希桶中溢出的数据识别为热参数并缓存在本地，将所述哈希桶中未溢出的数据识别为冷参数并发往上层交换机，将聚合后的梯度的数据包转发给工作节点和参数服务器。本发明将热参数缓存和梯度聚合任务部署到交换机，通过多层哈希桶结构动态识别和缓存热参数，减少服务器的通信压力和计算负担，提高了缓存效率和存储资源利用率，同时提高了模型训练速度。