模型训练方法及装置、计算机可读存储介质、电子设备

本公开涉及人工智能技术领域，提供了一种模型训练方法、模型训练装置、计算机可读存储介质、电子设备，其中，模型训练方法包括：获取训练数据，并对所述训练数据进行压缩处理，获得压缩训练数据；将所述压缩训练数据划分为多个数据子集，将所述多个数据子集分配至多个训练节点；通过所述多个训练节点基于各自分配到的数据子集对待训练的原始大模型进行并行训练，并获取每个所述训练节点基于模型预测结果所计算出来的局部模型梯度；根据多个所述局部模型梯度确定全局模型梯度，以根据所述全局模型梯度对所述待训练的原始大模型的模型参数进行更新。本公开中的方法能够在提升模型训练速度的同时，降低通信开销。