一种基于大规模数据的大模型分布训练方法及装置

本申请提供了一种基于大规模数据的大模型分布训练方法及装置，所述方法包括：获取待训练大模型；将待训练大模型拆分为多个子模型，并分别部署到多个计算机设备上，每个子模型包含若干连续的神经网络层；获取大规模样本数据；基于大规模样本数据，连接所述计算机设备，实现待训练大模型的模型训练。本申请中，通过将大模型进行拆分，分别部署到不同计算机设备的方式，从而降低每个计算机设备的计算复杂度，大大降低模型训练的设备内存要求和性能要求。