基于自适应梯度稀疏化的加速AI分布式训练方法、系统、设备及介质

本发明公开了基于自适应梯度稀疏化的加速AI分布式训练方法、系统、设备及介质，方法包括：S1、PS初始化模型参数并发送给所有worker；S2、收到初始化模型参数，worker对DNN完成多次本地训练；S3、分层梯度聚类，采用效率感知梯度稀疏化方法决定是否对该层梯度聚类；采用分层自适应梯度感知方法为需要聚类的层确定聚类数；worker将压缩后的梯度发送给PS；S4、PS对收到的梯度进行解码并梯度聚合，聚合后的梯度用于更新PS上的本地模型参数；S5、PS将更新后的模型参数发送给worker，worker收到最新模型参数后替换原有模型参数并继续新的训练周期；S6、重复S2至S5，直到DNN训练完成。本发明实现加速分布式训练的同时避免模型精度的损失，可用于各种大模型的分布式训练。