摘要
本申请公开了一种大模型微调方法、装置、设备、存储介质和程序产品,涉及人工智能技术领域,包括:用于对待微调大模型进行微调的目标训练数据集是基于待微调大模型生成的,而且,目标训练数据集包括两类问答对,其中第二类问答对中的回答是待微调大模型对第二类问答对中的指令数据对应的原始响应数据进行改写得到的蒸馏响应数据;蒸馏响应数据与对应的原始响应数据具有相同的推理逻辑和风格,也就是说第二类问答对中的回答保留了待微调大模型的推理路径特征,增强了大模型在目标任务学习中对原始推理逻辑的保留能力,提高了微调后的大模型在目标任务上的适应性。
技术关键词
数据
蒸馏
微调方法
计算机可读指令
电子设备
路径特征
存储计算机程序
人工智能技术
计算机程序产品
指标
参数
逻辑
处理器
风格
存储器
系统为您推荐了相关专利信息
场景生成方法
终端设备
大语言模型
智慧家庭系统
命名实体识别技术
格式生成方法
样本
多时序协同
集成电路设计
GP模型
智能客服系统
实时语音
客户信息管理
文本
个性化服务单元
支持向量机算法
参数耦合关系
多参数
衰减特征
预测特征