摘要
本公开涉及一种模型微调方法、文本处理方法、介质、设备及程序产品。方法包括:从服务端获取大语言模型的词表和嵌入层参数;对词表和嵌入层参数分別进行混淆处理,得到目标词表和目标嵌入层参数;将目标嵌入层参数发送至服务端,以由服务端将大语言模型的嵌入层参数更新为目标嵌入层参数,以得到新的大语言模型;利用目标词表,对文本样本进行分词和转索引操作,得到文本样本对应的第一词元索引;将第一词元索引发送至服务端,以由服务端基于第一词元索引对新的大语言模型进行微调。这样,可避免服务端获取到嵌入向量和词元之间的对应关系,从而能在有效保护服务端使用方数据的前提下,通过微调操作更好地保障模型效果。
技术关键词
服务端
大语言模型
索引
参数
微调方法
文本生成模型
文本处理方法
文本分类模型
差分隐私机制
聚类
拉普拉斯噪声
样本
存储装置
标签
分词
计算机程序产品
生成随机
平滑度