微调大语言模型的方法及电子设备

本申请提供了一种微调大语言模型的方法及电子设备；涉及计算机技术领域。该方法包括：在第i个微调阶段，对大语言模型的参数空间进行采样，得到模型参数向量；基于模型参数向量与零阶规模参数，计算阶段损失函数的差分隐私零阶梯度；阶段损失函数为大语言模型的损失函数更新得到；基于差分隐私零阶梯度与学习率，按预设的迭代轮次对大语言模型的模型参数进行迭代处理，得到第i个微调阶段的目标模型参数；本申请实施例，可以降低微调模型的资源消耗，有效保护数据隐私的同时保证模型性能。