一种基于同态加密的大模型联邦拆分隐私保护方法

本发明涉及一种基于同态加密的大模型联邦拆分隐私保护方法，属于大语言模型和隐私保护技术领域。该方法将大语言模型拆分成客户端子模型和服务器端子模型；客户端在完成每一轮本地训练后，通过压缩感知技术对每一个客户端子模型生成的中间激活值进行压缩处理；然后使用同态加密算法对压缩处理的激活值进行加密传输，从而减少同态加密算法的计算开销以及客户端和服务器端之间的通信开销，并对传输的敏感数据提供隐私保护能力；服务器端子模型利用客户端的梯度进行更新，每一个客户端使用本地私有数据对服务器端子模型进行微调，实现客户端原始数据不出域，可用不可见，从而保护数据隐私安全。