摘要
本申请实施例提供指令监督微调的自适应数据配比方法及装置,涉及人工智能技术领域。该方法对于参考语言模型,基于对于任务类型的基线权重区间进行至少一轮的参数搜索得到配比参数,根据每个任务类型的配比参数得到参考语言模型的任务配比,对参考语言模型的模型参数量和对应的任务配比进行模型拟合得到比例预测模型,基于目标大语言模型的模型参数量,利用比例预测模型进行预测得到目标任务配比。通过对多个小参数量的模型进行任务配比的最优搜索,生成多组模型参数量与任务配比的数据对,以此训练比例预测模型,对大规模参数的目标大语言模型进行自动预测获得可靠性较高的目标任务比例,显著提升指令监督微调的性能和效率。
技术关键词
配比方法
大语言模型
样本
参数
指令
基线
数据
策略
性能预测模型
配比装置
人工智能技术
邻域
搜索模块
复杂度
电子设备
处理器
度量
存储器
标签
系统为您推荐了相关专利信息
配电网模型数据
生成方法
配网
布局规则
变电站模型文件
深度学习模型
参数
数据检测方法
长短期记忆网络
概率密度曲线