一种针对大语言模型微调场景的噪声添加方法、系统及存储介质

AITNT
正文
推荐专利
一种针对大语言模型微调场景的噪声添加方法、系统及存储介质
申请号:CN202510499486
申请日期:2025-04-21
公开号:CN120354902A
公开日期:2025-07-22
类型:发明专利
摘要
本发明提供了一种针对大语言模型微调场景的噪声添加方法、系统及存储介质,涉及信息安全技术领域。本发明根据大语言模型中每层对大语言模型准确率的贡献度和每层的敏感程度,得到大语言模型中每层的重要性得分;根据不同层的重要性得分,对大语言模型的层进行筛选,将重要性得分大于等于预设重要性阈值的层作为冷冻层,将重要性得分小于预设重要性阈值的层作为微调层;基于重要性得分为不同的微调层添加差异化噪声。本发明降低了由于加噪操作导致的计算开销,提高了模型可用性的同时实现了隐私保护。
技术关键词
大语言模型 噪声 场景 标签 信息安全技术 数据 样本 变量 处理器 程序 阶段
系统为您推荐了相关专利信息
1
一种基于深度神经网络特征编码的舰船图像分类装置
深度残差神经网络 图像分类装置 图像编码器 图像数据采集模块 SAR传感器
2
基于ANM深度展开的机载雷达STAP方法、系统及存储介质
STAP方法 机载雷达系统 回波 待测距离 网络
3
基于降维模式的层次化光伏组串异常检测方法与可视分析系统
组串异常检测方法 可视化分析系统 高斯混合模型 时序 数据
4
一种基于情感交互的上肢运动康复系统
运动康复系统 上肢康复机器人 上肢康复训练 大语言模型 视觉交互设备
5
一种多通道降低显示薄膜信号噪声处理装置
多通道 信号处理算法 信号采集模块 数据获取子模块 信号特征
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号