摘要
发明公开了一种大语言模型的知识编辑方法、装置和电子设备,涉及计算模型和人工智能技术领域。方法包括:利用随机前缀和第一隐藏状态计算大语言模型各编辑层的编辑历史的主体向量;利用第二隐藏状态计算大语言模型各编辑层的编辑历史的关系向量;利用编辑历史的主体向量、编辑历史的关系向量和整个模型层的协方差矩阵计算编辑层的输出权重的偏移量;利用偏移量更新编辑层的输出权重;利用更新的编辑层的输出权重对大语言模型的编辑层进行知识编辑。本方法只需要存储空间,并允许将序列编辑方法转换为批处理编辑方法,从而减少序列编辑过程中对编辑模型的损坏,实现了轻损害知识编辑。该方法突破了现有技术中的编辑瓶颈问题,具有优越的性能。
技术关键词
知识编辑方法
大语言模型
协方差矩阵
字符
关系
噪声
标记
非线性
电子设备
样本
编辑装置
人工智能技术
主题
处理器
注意力机制
序列
存储器
指令
系统为您推荐了相关专利信息
改性聚氨酯材料
机器学习辅助
机器学习模型
朴素贝叶斯模型
发泡材料技术
模型建立方法
训练注意力
样本
多头注意力机制
注意力模型