模型参数处理方法、计算设备及模型训练系统

本申请提供一种模型参数处理方法、计算设备及模型训练系统，该方法应用于模型训练系统的第一计算节点；第一计算节点为模型训练系统的多个计算节点中参与梯度融合的计算节点；每个计算节点的第一内存与其他计算节点共享；方法包括：从各计算节点的第一内存所存储的第一梯度集中读取第一模型参数的第一梯度值，得到多个第一梯度值；根据多个第一梯度值，确定第一模型参数的目标梯度值；向每个计算节点的第一内存发送第一模型参数的目标梯度值。本申请技术方案，通过设计共享内存，直接执行节点间模型参数的梯度值的读取和写入，极大减少模型训练时的参数交换次数，提高训练效率。