大语言模型的遗忘学习方法及装置

AITNT
正文
推荐专利
大语言模型的遗忘学习方法及装置
申请号:CN202510940757
申请日期:2025-07-08
公开号:CN120911530A
公开日期:2025-11-07
类型:发明专利
摘要
本说明书实施例披露一种大语言模型的遗忘学习方法及装置。该方法包括:首先,获取第一大语言模型和遗忘样本集,其中第一大语言模型初始为采用微调样本集进行微调而得到的微调模型,遗忘样本集为微调样本集的子集。接着,针对任意的第一遗忘样本,基于第二大语言模型确定若干相似样本,其中各个相似样本与所述第一遗忘样本具有相似语义但表述不同。之后,利用第一大语言模型处理第一遗忘样本得到第一隐层表征。然后,确定训练损失,其负相关于第一隐层表征与各个相似样本的隐层表征之间的距离,正相关于第一隐层表征和随机向量之间的距离,其中各个相似样本的隐层表征基于微调模型而得到;之后,利用训练损失训练第一大语言模型以实现遗忘学习。
技术关键词
大语言模型 样本 学习方法 聚类算法 编码向量 模型训练模块 学习装置 数据获取模块 语义 计算机 度量 可读存储介质 存储器 处理器
系统为您推荐了相关专利信息
1
基于YOLOv8m和ShuffleNetv2网络的小麦仓储粮虫检测方法
构建小麦 注意力机制 数据 卷积模块 神经网络训练
2
基于跨模态量测数据融合的实时线损分析方法及系统
线损分析方法 隔离森林算法 跨模态 多源异构数据 样本
3
一种基于精准控制的OLED显示屏视效优化方法及系统
OLED显示屏 监测点 参数 彩色亮度计 监测设备
4
基于人工智能的故障识别和处理方法、装置、设备及介质
智能机器人 大语言模型 音频 场景 文本
5
高压交流海缆系统海缆接地故障测距方法、系统及介质
接地故障测距方法 海缆系统 故障行波 零序电压互感器 小波神经网络
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号