一种基于联邦学习的高效微调大语言模型的隐私保护方法

本发明涉及大语言模型微调技术领域，公开了一种基于联邦学习的高效微调大语言模型的隐私保护方法，包括：服务器端给参与方分发基底大模型，随后参与方对基底大模型进行微调训练，将更新的参数或者梯度上传至服务器端；当服务器接收到更新后的参数或梯度后，使用联邦聚合算法进行参数更新或者梯度更新，并将聚合后的结果返回给参与方；通过命名实体识别方法识别并处理参与方数据中的敏感信息；使用非对称加密方式对参与方身份进行认证；采用IA3方法，在预训练大模型每一层上增加设定数量的可学习参数；在数据通信过程中，将大模型若干层的训练参数综合后再进行参数传递。本发明能够进一步地确保参与训练数据集的隐私安全，节省了训练模型的时间。