一种自适应语义感知的大语言模型隐私保护方法及设备

AITNT
正文
推荐专利
一种自适应语义感知的大语言模型隐私保护方法及设备
申请号:CN202510014381
申请日期:2025-01-06
公开号:CN120068141A
公开日期:2025-05-30
类型:发明专利
摘要
本发明公开了一种自适应语义感知的大语言模型隐私保护方法及设备,其中方法包括:大语言模型服务提供商将大语言模型分解为底部嵌入层模型和其他部分,分别部署在客户端和服务器端;在预训练阶段,客户端训练一个生成器和一个采样器。生成器包括可学习的文本嵌入层和门控循环单元,能够生成与原文本相似且语义接近的文本序列。采样器自适应地选择需要替换的文本位置及其替换词,逐步逼近原文本的语义嵌入;在增强训练阶段,预训练的生成器与基于Transformer的判别器进行对抗训练,同时采样器生成语义近似的文本,引导生成器生成更加真实和符合语义的样本;经过训练的生成器生成扰动嵌入,服务器端接收这些扰动嵌入进行微调或推理等操作。
技术关键词
隐私保护方法 采样器 门控循环单元 语义 文本 客户端 大语言模型 阶段 数据分布 样本 序列 线性 定位器 电子设备 参数 索引 存储器 训练集 处理器
系统为您推荐了相关专利信息
1
一种基于多模态距离协同优化的OCR弯曲文档矫正性能检测方法
性能检测方法 畸变校正算法 多模态 匈牙利算法 异常数据处理
2
一种跟道卡数据智能识别与录入方法
数据智能识别 字段 图像 二维码结构 表头
3
高效文档搜索方法、装置、设备及存储介质
文档搜索方法 查询词语 计算机可读指令 索引 文档搜索装置
4
一种操作票智能解析与顺控逻辑闭环验证方法及系统
闭环验证方法 BERT模型 生成工具 多头注意力机制 矩阵
5
新意图标签挖掘及融合结构化信息进行意图识别模型自动调参方法
意图识别模型 自动调参方法 标签挖掘模型 数据知识库 非暂态计算机可读存储介质
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号