摘要
本发明涉及推荐系统技术领域,公开了一种基于大模型蒸馏的企业推理模型构建方法、装置及设备。所述方法包括:获取多个代码片段和对应的注释;基于大语言模型,针对每个代码片段生成问题描述,得到训练数据集;将问题描述作为输入、对应代码片段作为输出,基于教师推理模型获取推理路径;以问题描述为输入,以推理路径和代码片段为输出,基于设定基座模型,训练企业代码推理大模型。本发明以大语言模型作为教师模型,根据训练数据集生成推理路径,进而将基于问题描述得到特定代码片段的推理思维传递给设定基座模型,实现了对企业特定领域知识的有效蒸馏。
技术关键词
大语言模型
抽象语法树
蒸馏
企业
教师
数据
样本
基座
推荐系统
电子设备
模块
存储器
计算机
处理器
指令
编辑
系统为您推荐了相关专利信息
大语言模型
识别人脸图像
人脸活体检测方法
视觉特征
多模态
直播推荐方法
大语言模型
推荐算法
构建用户画像
商品标签