保护隐私的大语言模型训练和推理方法及装置

AITNT
正文
推荐专利
保护隐私的大语言模型训练和推理方法及装置
申请号:CN202410840612
申请日期:2024-06-26
公开号:CN118410520B
公开日期:2024-10-11
类型:发明专利
摘要
本说明书实施例涉及保护隐私的大语言模型训练和推理方法及装置,训练方法包括:首先,获取第一提示文本中各个词对应的嵌入向量所组成的原始嵌入矩阵;第一提示文本还对应有第一标签文本。然后,对原始嵌入矩阵进行第一变换,将其中的空域信号转换为频域信号,得到具有第一尺寸的第一矩阵。接下来,将第一矩阵拆分为均为第一尺寸的N个第二矩阵的叠加,单个第二矩阵包含第一矩阵中的部分元素。然后,对N个第二矩阵分别进行第一逆变换,将其中的频域信号转换为空域信号,得到N个脱敏嵌入矩阵。最后,将第一标签文本作为各个脱敏嵌入矩阵的标签文本,形成N条训练样本,使用包含N条训练样本的训练集对预训练的大语言模型进行微调。
技术关键词
矩阵 标签文本 大语言模型 元素 适配器 离散傅立叶变换 注意力 推理方法 离散余弦变换 语言模型训练方法 服务端 信号 微调方法 尺寸 训练集 模型训练装置 推理装置 参数
系统为您推荐了相关专利信息
1
数据处理方法和装置、电子设备及计算机程序产品
字符 大语言模型 数据处理方法 计算机程序产品 解码
2
一种基于CUDA的随机投影方法
投影方法 矩阵乘法运算 生成方式 因子 数据
3
一种多模态时间信息融合的POI推荐方法
编码向量 嵌入特征 序列 推荐方法 节点特征
4
一种多相关器协同REKF的GNSS抗欺骗干扰方法及系统
欺骗干扰方法 相关器 中频信号 载波 模块
5
基于训练简单循环单元网络模型的新能源及负荷预测方法
发电设备 负荷预测方法 神经网络预测模型 预训练模型 数据
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号