一种面向大规模分布式训练的深度学习模型优化方法

本申请公开了一种面向大规模分布式训练的深度学习模型优化方法。本方法首先输入训练样本数据，计算当前分布式训练系统中各计算节点的资源差异值，根据差异值大小选择数据划分模式；然后将模型结构将划分为多个专家模型，然后在各计算节点上部署对应的专家模型，并结合精度控制和转换模块动态调整各训练阶段的浮点数精度；最后对各计算节点的深度学习模型参数进行参数计算，并将各参数按照从大到小的顺序进行降序排序，根据梯度优先原则，依次从大到小更新对应的模型参数。本申请将梯度通讯和反向传播计算混合并行，提升了模型训练中计算和网络通信的效率，有效降低了大规模分布式训练对计算资源和存储空间的需求。