大模型训练方法、装置、设备、存储介质及程序产品

本申请涉及联邦学习技术领域，提供一种大模型训练方法、装置、设备、存储介质及程序产品，该方法包括：在大模型联邦训练的每个通信轮次中，接收各参与方发送的因子矩阵；因子矩阵是由参与方对随机选择的局部向量因子进行局部迭代优化得到的，局部向量因子是对参与方本地的局部大模型的张量适配器的权重矩阵进行张量分解得到的；根据因子矩阵更新与随机选择的局部向量因子对应的全局向量因子，供各参与方更新本地的局部向量因子，完成一次联邦迭代。通过张量分解和对训练参数的随机选择，减少了计算资源的消耗和通信开销，并且，避免了误差项的叠加，缓解了数据异质性导致的模型收敛速度慢的问题，减少了大模型的训练时长，提高了训练效率。