摘要
本申请公开了一种大语言模型输出保护方法和装置、存储介质、电子设备,所述方法包括:从云服务器端获取大语言模型的语言模型头层对应的原始权重矩阵的维度信息、输入向量和第一输出向量,其中,第一输出向量基于输入向量和原始权重矩阵确定;基于原始权重矩阵的维度信息确定第一低秩矩阵和第二低秩矩阵;基于输入向量、第一低秩矩阵和第二低秩矩阵确定第二输出向量;基于第一输出向量和第二输出向量确定大语言模型输出的目标词概率分布向量。本申请的方法,能够防止云端根据语言模型头的输出直接推测出模型整体的文本输出,增强隐私保护,同时还能够降低将完整语言模型头层部署在本地所带来的存储和计算开销。
技术关键词
矩阵
大语言模型
保护方法
输出保护装置
随机梯度下降
电子设备
处理器
传播算法
程序
参数
可读存储介质
模块
存储器
数据
云端
文本
计算机
系统为您推荐了相关专利信息
变压器异常状态
故障特征
特征提取算法
样本
矩阵
大语言模型
评估系统
图像特征提取
推理规则
图像处理算法
结核菌素纯蛋白衍生物
集成系统
知识图谱构建
身份识别模块
数据分析模块
靶标
跟踪装置
图像处理器
视觉传感器
结构光3D相机