大语言模型的处理方法、装置、计算机设备、可读存储介质和程序产品

AITNT
正文
推荐专利
大语言模型的处理方法、装置、计算机设备、可读存储介质和程序产品
申请号:CN202411700293
申请日期:2024-11-26
公开号:CN119577450A
公开日期:2025-03-07
类型:发明专利
摘要
本申请涉及一种大语言模型的处理方法、装置、设备、存储介质和程序产品,涉及自然语言处理技术领域。本申请能够使得调整后的大语言模型用于扩充风险数据集,也能避免大语言模型原有的生成能力劣化。方法:利用数据对样本识别出大语言模型中的安全激活参数;将多组风险数据输入大语言模型并记录大语言模型处理完成后安全激活参数对应的当前梯度切片;根据当前梯度切片与异常梯度切片之间的相似度,在多组风险数据中识别出有效数据得到数据训练集;根据数据训练集对大语言模型进行低秩微调得到微调参数;基于微调参数和安全激活参数对安全激活参数的原始权重进行更新,根据更新后权重对模型参数进行调整,调整后的大语言模型用于扩充风险数据集。
技术关键词
大语言模型 切片 参数 训练集 异常数据 样本 风险 计算机设备 识别模块 可读存储介质 计算机程序产品 处理器 矩阵 自然语言 存储器
系统为您推荐了相关专利信息
1
一种农作物的精细分类方法、装置及介质
分类器 样本 数据 归一化植被指数 精细分类方法
2
基于面部肌肉的电生理评估和电刺激系统、方法及装置
面部 肌电采集器 刺激系统 生理 采集电极
3
连退炉工艺参数确定方法、装置、存储介质及计算机设备
非易失性存储介质 控制权 关系 接触式热电偶 参数
4
一种基于双分支轻量化主干的海底目标检测方法
侧扫声呐图像 分支 网络 无人平台 训练集
5
煤矿安全知识交互方法、交互系统
交互方法 大语言模型 词模型 交互系统 自然语言
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号