一种基于差分隐私的隐私保护大模型微调方法及系统

本发明提供一种基于差分隐私的隐私保护大模型微调方法及系统，包括：获取用户敏感数据以构建微调数据集和验证集；对目标参数矩阵进行低秩分解，将微调数据集输入大模型，计算其在低秩参数矩阵上的梯度并进行稀疏化处理；对稀疏梯度按照梯度裁剪阈值裁剪后加入差分隐私噪声；基于加入噪声的梯度和差分隐私参数，校正Adam优化器估计的方差，并根据校正后的方差计算参数步长，更新目标参数；使用验证集评估模型更新前后的优化情况，动态调整梯度裁剪阈值。本发明能够在保证隐私保护强度的同时，保证微调得到的大模型具备较高的效用。