摘要
本说明书实施例涉及保护隐私的大语言模型训练和推理方法及装置,训练方法包括:首先,获取第一提示文本中各个词对应的嵌入向量所组成的原始嵌入矩阵;第一提示文本还对应有第一标签文本。然后,对原始嵌入矩阵进行第一变换,将其中的空域信号转换为频域信号,得到具有第一尺寸的第一矩阵。接下来,将第一矩阵拆分为均为第一尺寸的N个第二矩阵的叠加,单个第二矩阵包含第一矩阵中的部分元素。然后,对N个第二矩阵分别进行第一逆变换,将其中的频域信号转换为空域信号,得到N个脱敏嵌入矩阵。最后,将第一标签文本作为各个脱敏嵌入矩阵的标签文本,形成N条训练样本,使用包含N条训练样本的训练集对预训练的大语言模型进行微调。
技术关键词
矩阵
标签文本
大语言模型
元素
适配器
离散傅立叶变换
注意力
推理方法
离散余弦变换
语言模型训练方法
服务端
信号
微调方法
尺寸
训练集
模型训练装置
推理装置
参数
系统为您推荐了相关专利信息
字符
大语言模型
数据处理方法
计算机程序产品
解码
发电设备
负荷预测方法
神经网络预测模型
预训练模型
数据