摘要
本发明公开了一种基于可编程交换机的分布式模型训练在网汇聚方法,通过采用多个哈希函数计算模型梯度包在可编程交换机上发生汇聚时的寄存器槽索引位置,通过将可编程交换机的可用内存分割为多个哈希区间解决了哈希碰撞问题,与现有仅使用单一哈希函数的方式相比,有效降低了模型梯度包汇聚时发生哈希冲突的比例,增大了可编程交换机上在网汇聚的模型梯度包数量,进而减少了由可编程交换机发送至模型汇聚服务器的模型梯度流量与模型梯度流量对模型汇聚服务器入口有限带宽的竞争,达到加速分布式模型训练与减少数据中心网络流量负载的目的。
技术关键词
可编程交换机
分布式模型
汇聚方法
索引
列表
网络流量负载
标识
节点
服务器
数据中心
标记
元素
入口
系统为您推荐了相关专利信息
索引
数据
非暂态计算机可读存储介质
电子设备
处理器