摘要
本申请涉及一种大语言模型的处理方法、装置、设备、存储介质和程序产品,涉及自然语言处理技术领域。本申请能够使得调整后的大语言模型用于扩充风险数据集,也能避免大语言模型原有的生成能力劣化。方法:利用数据对样本识别出大语言模型中的安全激活参数;将多组风险数据输入大语言模型并记录大语言模型处理完成后安全激活参数对应的当前梯度切片;根据当前梯度切片与异常梯度切片之间的相似度,在多组风险数据中识别出有效数据得到数据训练集;根据数据训练集对大语言模型进行低秩微调得到微调参数;基于微调参数和安全激活参数对安全激活参数的原始权重进行更新,根据更新后权重对模型参数进行调整,调整后的大语言模型用于扩充风险数据集。
技术关键词
大语言模型
切片
参数
训练集
异常数据
样本
风险
计算机设备
识别模块
可读存储介质
计算机程序产品
处理器
矩阵
自然语言
存储器
系统为您推荐了相关专利信息
非易失性存储介质
控制权
关系
接触式热电偶
参数