模型微调方法、文本处理方法、介质、设备及程序产品

AITNT
正文
推荐专利
模型微调方法、文本处理方法、介质、设备及程序产品
申请号:CN202411132183
申请日期:2024-08-16
公开号:CN119150862B
公开日期:2025-05-16
类型:发明专利
摘要
本公开涉及一种模型微调方法、文本处理方法、介质、设备及程序产品。方法包括:从服务端获取大语言模型的词表和嵌入层参数;对词表和嵌入层参数分別进行混淆处理,得到目标词表和目标嵌入层参数;将目标嵌入层参数发送至服务端,以由服务端将大语言模型的嵌入层参数更新为目标嵌入层参数,以得到新的大语言模型;利用目标词表,对文本样本进行分词和转索引操作,得到文本样本对应的第一词元索引;将第一词元索引发送至服务端,以由服务端基于第一词元索引对新的大语言模型进行微调。这样,可避免服务端获取到嵌入向量和词元之间的对应关系,从而能在有效保护服务端使用方数据的前提下,通过微调操作更好地保障模型效果。
技术关键词
服务端 大语言模型 索引 参数 微调方法 文本生成模型 文本处理方法 文本分类模型 差分隐私机制 聚类 拉普拉斯噪声 样本 存储装置 标签 分词 计算机程序产品 生成随机 平滑度
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号