摘要
本申请公开了一种基于遗忘学习的训练数据集重要性评估方法。为每个训练数据集生成遗忘学习终止标记数据集。采用任意一个训练数据集对基准大语言模型进行遗忘学习;计算采用该训练数据集进行遗忘学习前、后的基准大语言模型在任意测试数据集上的平均损失。计算完成遗忘学习的所述训练数据集对于任意测试数据集的影响值;该影响值用来表征完成遗忘学习的所述训练数据集对基准大语言模型在任意测试数据集上是产生的积极贡献还是产生消极贡献、以及贡献的程度。本申请通过遗忘学习评估训练数据集对大语言模型的影响,计算与存储资源的消耗小。
技术关键词
大语言模型
重要性评估方法
数据
基准
序列
标记
滑动窗口
文本
参数
评估装置
算法
频率
系统为您推荐了相关专利信息
地下管廊智能
能耗优化系统
资源分配模块
长短期记忆神经网络模型
节点
电磁感应加热控制器
智能监测模块
塑料托盘
脱模模块
超疏水纳米涂层
综合观测系统
数据处理平台
无人机遥感
监测模块
空间配准方法