摘要
本发明提供一种基于神经元归因和动态掩码的细粒度知识编辑方法,包括:获取大语言模型和其需新学习的目标知识,为该目标知识编辑多个知识模板;基于多个知识模板,对大语言模型的多层前馈神经网络进行神经元级别的归因量化,得到各层前馈神经网络中每个神经元对各知识模板预测的重要性得分;根据各层前馈神经网络中各神经元对各知识模板预测的重要性得分,动态构建每层前馈神经网络的掩码向量,掩码向量指示前馈神经网络中需进行知识更新的神经元和无需进行知识更新的神经元;利用多个知识模板和掩码向量对大语言模型进行训练,训练时仅对大语言模型中的各层前馈神经网络中需要进行知识更新的神经元进行更新,有效提升模型终身知识编辑的精度。
技术关键词
大语言模型
知识编辑方法
模板
多层前馈神经网络
归因
知识问答方法
数值
动态
处理器
可读存储介质
文本
存储器
电子设备
答案
指令
计算机
因子
系统为您推荐了相关专利信息
故障报警信息
微服务系统
大语言模型
故障定位方法
故障传播路径
页面图片
识别PDF文件
多模型协同
识别方法
图片分类模型
代价敏感学习
识别评价方法
数据存储策略
资源分配
数据分类