大规模预训练模型在联邦学习环境下的微调系统及其应用

本发明公开了一种大规模预训练模型在联邦学习环境下的微调系统及其应用，本系统包括：局部扰动梯度估算模块、差分隐私保护模块和全局模型聚合与更新模块。所述局部扰动梯度估算模块通过前向传播结合零阶优化方法计算全局模型损失值，从而估算梯度，实现全参数微调；所述差分隐私保护模块对估算出的扰动梯度进行差分隐私保护处理，防止梯度信息泄露用户敏感数据；所述全局模型聚合与更新模块基于客户端上传的随机种子和标量梯度，重构扰动向量并完成全局模型更新。本发明与传统技术相比，在不依赖反向传播的前提下，实现对大规模预训练模型的全参数微调，在保障了数据隐私的同时，显著降低了计算与内存的开销，适用于资源受限的分布式计算环境。