摘要
本说明书实施例披露一种大语言模型的遗忘学习方法及装置。该方法包括:首先,获取第一大语言模型和遗忘样本集,其中第一大语言模型初始为采用微调样本集进行微调而得到的微调模型,遗忘样本集为微调样本集的子集。接着,针对任意的第一遗忘样本,基于第二大语言模型确定若干相似样本,其中各个相似样本与所述第一遗忘样本具有相似语义但表述不同。之后,利用第一大语言模型处理第一遗忘样本得到第一隐层表征。然后,确定训练损失,其负相关于第一隐层表征与各个相似样本的隐层表征之间的距离,正相关于第一隐层表征和随机向量之间的距离,其中各个相似样本的隐层表征基于微调模型而得到;之后,利用训练损失训练第一大语言模型以实现遗忘学习。
技术关键词
大语言模型
样本
学习方法
聚类算法
编码向量
模型训练模块
学习装置
数据获取模块
语义
计算机
度量
可读存储介质
存储器
处理器
系统为您推荐了相关专利信息
构建小麦
注意力机制
数据
卷积模块
神经网络训练
线损分析方法
隔离森林算法
跨模态
多源异构数据
样本
OLED显示屏
监测点
参数
彩色亮度计
监测设备
接地故障测距方法
海缆系统
故障行波
零序电压互感器
小波神经网络