摘要
本发明提供了一种针对大语言模型微调场景的噪声添加方法、系统及存储介质,涉及信息安全技术领域。本发明根据大语言模型中每层对大语言模型准确率的贡献度和每层的敏感程度,得到大语言模型中每层的重要性得分;根据不同层的重要性得分,对大语言模型的层进行筛选,将重要性得分大于等于预设重要性阈值的层作为冷冻层,将重要性得分小于预设重要性阈值的层作为微调层;基于重要性得分为不同的微调层添加差异化噪声。本发明降低了由于加噪操作导致的计算开销,提高了模型可用性的同时实现了隐私保护。
技术关键词
大语言模型
噪声
场景
标签
信息安全技术
数据
样本
变量
处理器
程序
阶段
系统为您推荐了相关专利信息
深度残差神经网络
图像分类装置
图像编码器
图像数据采集模块
SAR传感器
组串异常检测方法
可视化分析系统
高斯混合模型
时序
数据
运动康复系统
上肢康复机器人
上肢康复训练
大语言模型
视觉交互设备
多通道
信号处理算法
信号采集模块
数据获取子模块
信号特征