摘要
本发明涉及大语言模型领域,具体涉及一种面向安全性优化与高效训练的大语言模型数据选择方法及装置。方法包括:将数据选择过程建模为一个双层优化问题,所述双层优化包括内层优化和外层优化;构建具备安全感知能力的数据选择器,基于数据选择器对原始数据进行排序,优先选取高质量且安全关键的核心数据子集;将所述核心数据子集作为输入数据,与预设的对齐技术结合,用于大语言模型的安全对齐训练;在对齐后的模型基础上,使用用户提供的微调数据执行最终训练,得到具备安全性保障的目标模型。本发明在提升模型推理性能与安全防御能力的同时,显著降低了训练时间,解决了现有防御方法对数据质量依赖性高、计算开销大的问题。
技术关键词
数据选择器
大语言模型
对齐技术
计算机程序指令
核心
参数
模块
模拟模型
电子设备
处理器通信
样本
可读存储介质
关键性
基础
存储器
鲁棒性
系统为您推荐了相关专利信息
交易特征
异常检测系统
大语言模型
跨模态
语义向量
动态广告投放方法
大语言模型
自然语言
强化学习策略
动态上下文
信号传输线
多层金属结构
通孔
集成电路芯片
工艺平台