一种基于阶段式学习的大模型加速训练方法

本发明涉及人工智能领域的技术，提出一种基于阶段式学习的大模型加速训练方法，包括：初始化待训练的大模型，从所述大模型中选择少量初始训练层作为新增训练层组成子模型并进行训练；构建增长调度器，利用所述增长调度器判断是否触发模型增长；当触发模型增长时，构建并初始化新的训练层，作为新增训练层插入所述子模型，并通过动态调节学习率稳定增长后子模型的训练过程；重复上述步骤，直至达到预设的训练周期，得到完成训练的大模型。相较于现有技术计算资源开销大，兼容性差的问题，本发明能在显著加速模型训练的同时具备高兼容性。