梯度同步的量化去冗余方法、装置、设备和介质

本发明涉及梯度同步的量化去冗余方法、装置、设备和介质。方法包括：生成量化查找表；计算各节点的本地梯度；对本地梯度进行向量转换，然后将本地梯度向量在量化查找表中进行映射，得到量化梯度向量；根据量化梯度向量构建前缀量化索引向量，并构建各节点的第一桶阵列；从参数服务器中拉取第二桶阵列，对第一桶阵列与第二桶阵列执行异或操作，生成包含异或结果的第三桶阵列；对第三桶阵列进行剥离操作，得到桶的索引标记集合，然后传输去重后的梯度数据，得到各节点的非重复梯度；将非重复梯度进行聚合处理，得到聚合后的梯度；利用聚合后的梯度更新各节点的本地梯度，生成新的梯度。本发明能够检测不同节点的梯度冗余，降低数据通信开销。