一种信创环境下的大语言模型训练及调优方法

本申请涉及大语言模型训练优化技术领域，具体涉及一种信创环境下的大语言模型训练及调优方法，该方法包括：创建大语言模型分布式训练任务，根据各国产服务器的国产算力分别在数据集中随机选取数据，获取各国产服务器的大语言模型中模型参数的梯度信息；构建各国产服务器的分词词典列表；通过计算任一国产服务器与其余各国产服务器之间分词词典列表中各相同分词的词向量的差异，获取所述任一国产服务器的模型拟合偏差；获取各国产服务器的特征系数；获取各国产服务器的模型权重；对主国产服务器的大语言模型中的模型参数进行更新。本申请旨在提高大语言模型的收敛速度和训练精度。