摘要
本发明实施例涉及一种自回归大语言模型的知识编辑方法和装置,所述方法包括:将自回归大语言模型作为目标模型;并对目标模型的预训练知识库中的各个知识条目进行问题‑答案文本对转换;对各文本对按三类模型推理方式(单次正常推理、单次加扰推理、加扰前提下的多次修复推理)进行处理得到第一、第二预测文本和第三预测信息集;并基于各文本对的第一、第二预测文本和第三预测信息集进行一次关键层预估;并根据所有预估关键层进行关键层终判,并通过在所有关键层植入低秩矩阵参数的方式对目标模型进行参数重置;并由植入的所有低秩矩阵参数组成植入参数集,并在每次知识编辑过程中只对植入参数集进行更新。本发明可以提高编辑效率、降低编辑成本。
技术关键词
知识编辑方法
大语言模型
标签文本
板块
矩阵
参数
分词
答案
指令
条目
模板
索引
优化器
计数器
收发器
序列
计算机
模块
系统为您推荐了相关专利信息
波束赋形设计
波束跟踪方法
对象
协方差矩阵
扩展卡尔曼滤波
GCN模型
特征提取模型
孤岛检测方法
检测数据输入
空间特征提取