摘要
本申请涉及一种基于参数空间转换的拆分学习大语言模型隐私保护方法,包括:拆分预训练的大语言模型,得到大语言模型的头部段模型、中间段模型和尾部段模型,并将头部段模型和尾部段模型部署于第一设备端,将中间段模型部署于第二设备端;基于投影层连接头部段模型和尾部段模型,对连接后的头部段模型和尾部段模型进行预热训练,以使得头部段模型和尾部段模型的参数转换到指定参数空间;冻结头部段模型中的参数,并基于第一设备端和第二设备端协同训练中间段模型和尾部段模型,得到微调后的大语言模型。采用本方法能够提高大语言模型拆分学习过程中的安全性。
技术关键词
大语言模型
设备端
隐私保护方法
数据
参数
隐私保护装置
隐私保护系统
计算机程序产品
处理器
计算机设备
存储器
模块
系统为您推荐了相关专利信息
故障定位系统
神经网络模型
故障检测
数字孪生模型
深度强化学习算法
生成音频文件
语音识别模型
语音识别算法
文本处理算法
语音生成模型
FPGA加速卡
PCIE接口
仲裁方法
FPGA芯片
低延迟