基于拆分学习的私有化大模型微调训练方法和装置

本申请涉及一种基于拆分学习的私有化大模型微调训练方法和装置，其中，该方法包括：将预训练的大模型拆分成头部模型段、中间模型段以及尾部模型段；将原始数据拆分成隐私数据和非隐私数据；根据隐私数据和非隐私数据，协同训练客户端中的头部模型段和尾部模型段，及服务器中的第一中间模型段和第二中间模型段，得到目标大模型；其中，在协同训练过程中，同态加密客户端和服务器之间传输的与隐私数据相关的隐私中间激活量；目标大模型输出关于特定主题的文档答复。通过本申请，解决了相关技术中需要向服务器传输中间激活量，存在通过模型反演攻击推测或恢复原始数据的风险的问题；实现对隐私数据的保护，降低隐私数据泄露的风险。