基于TFHE的大语言模型推理方法、服务端、客户端及系统

AITNT
正文
推荐专利
基于TFHE的大语言模型推理方法、服务端、客户端及系统
申请号:CN202410737313
申请日期:2024-06-07
公开号:CN118313464A
公开日期:2024-07-09
类型:发明专利
摘要
本发明涉及隐私安全技术领域,具体公开了一种基于TFHE的大语言模型推理方法、服务端、客户端及系统,包括:接收客户端发送的密文问询信息,其中所述客户端能够对用户的明文问询信息基于TFHE加密算法进行加密获得密文问询信息;根据第一语言模型并结合TFHE加密算法对所述密文问询信息进行推理获得密文答复信息;将所述密文答复信息反馈至所述客户端,其中所述客户端能够基于所述TFHE加密算法对所述密文答复信息进行解密获得明文答复信息。本发明提供的基于TFHE的大语言模型推理方法能够提高大语言模型使用的安全性。
技术关键词
加密算法 推理方法 明文 客户端 序列 局部注意力机制 服务端 密钥 分词 推理系统 大语言模型 线性 解密模块 加密模块 文本
系统为您推荐了相关专利信息
1
一种基于时间序列的飞机零部件寿命预测方法及系统
飞机零部件 寿命预测方法 时间序列预测模型 累积分布函数 飞机健康管理技术
2
一种基于Transformer的弹性计算架构多任务动态调度方法
动态调度方法 多任务 时序预测模型 资源 节点
3
一种基于多端口功率特征融合的无线电能传输系统对位检测方法和系统
对位检测方法 复数特征 多端口 回归预测模型 融合特征
4
一种储能变流器的自适应虚拟同步发电机控制方法
储能变流器 故障诊断模型 无功指令 虚拟同步发电机 深度神经网络
5
一种用于输变电工程的生态环境保护方法及系统
输变电工程 鸟类翅膀 避雷装置 边缘轮廓 频率
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号