摘要
本申请公开了一种知识蒸馏方法、装置、设备、存储介质及计算机程序产品,涉及人工智能技术领域,该方法包括:将检测文本输入到目标教师模型,输出关键词,并根据关键词构建目标知识图谱集;获取目标知识图谱集中的关键信息及关键信息之间的逻辑关系,并将目标知识图谱集和关键词输入到预设大语言模型,输出推理步骤;利用关键信息及逻辑关系对推理步骤进行优化,得到思维链;将思维链输入到学生模型中进行迭代训练,得到目标学生模型。通过将知识图谱引入大语言模型,实现对特定领域知识的有效蒸馏,不仅可以增强学生模型在特定领域的表现,避免了学生模型对教师模型的高度依赖,而且降低了模型部署和应用的复杂性。
技术关键词
学生
知识蒸馏方法
关键词
大语言模型
计算机程序产品
教师
文本
知识图谱构建
人工智能技术
蒸馏设备
处理器
蒸馏装置
集成模块
标签
输出模块
可读存储介质
存储器
系统为您推荐了相关专利信息
节点设备
拥塞标记
监测方法
VXLAN网络
收发机
手语识别翻译
模型训练方法
静态手语
卷积神经网络训练
手语识别技术
关键词
自动化生成系统
预训练语言模型
控制模块
语义向量