摘要
本发明公开了一种自适应语义感知的大语言模型隐私保护方法及设备,其中方法包括:大语言模型服务提供商将大语言模型分解为底部嵌入层模型和其他部分,分别部署在客户端和服务器端;在预训练阶段,客户端训练一个生成器和一个采样器。生成器包括可学习的文本嵌入层和门控循环单元,能够生成与原文本相似且语义接近的文本序列。采样器自适应地选择需要替换的文本位置及其替换词,逐步逼近原文本的语义嵌入;在增强训练阶段,预训练的生成器与基于Transformer的判别器进行对抗训练,同时采样器生成语义近似的文本,引导生成器生成更加真实和符合语义的样本;经过训练的生成器生成扰动嵌入,服务器端接收这些扰动嵌入进行微调或推理等操作。
技术关键词
隐私保护方法
采样器
门控循环单元
语义
文本
客户端
大语言模型
阶段
数据分布
样本
序列
线性
定位器
电子设备
参数
索引
存储器
训练集
处理器
系统为您推荐了相关专利信息
性能检测方法
畸变校正算法
多模态
匈牙利算法
异常数据处理
文档搜索方法
查询词语
计算机可读指令
索引
文档搜索装置
闭环验证方法
BERT模型
生成工具
多头注意力机制
矩阵
意图识别模型
自动调参方法
标签挖掘模型
数据知识库
非暂态计算机可读存储介质