基于差分隐私的异构联邦微调语言模型构建方法及系统

本发明公开了一种基于差分隐私的异构联邦微调语言模型构建方法及系统，参数服务器先对具有相似能力的客户端聚类，依据资源感知聚类，并为每个类根据计算资源算力大的类别获得更大秩的自适应矩阵，从而实现灵活的低秩自适应矩阵的秩，以增强微调性能。在每一类内部，采用隐私联邦微调，包括具有敏感度感知的噪声分配和正则项优化两部分，取得更好的训练效率和减小的噪声影响。在每个类之间，通过知识蒸馏技术，执行异构的低秩自适应矩阵聚合，其中包括知识聚合和选取高质量的知识来增强本地模型。本发明能够提供严格的隐私保障，并能够在异构环境下缓解差分隐私对低秩自适应矩阵微调的影响，实现更高的效率和准确率。