摘要
本申请一个或多个实施例提供一种基于大语言模型的问答方法、装置、设备和存储介质,所述方法包括:获取待解决的问题;将问题输入第一大语言模型,由第一大语言模型生成与问题对应的压缩思维链推理步骤;其中,第一大语言模型为基于压缩思维链样本进行训练得到的大语言模型;压缩思维链样本中的思维链推理步骤为上下文压缩后的思维链推理步骤;将问题和压缩思维链推理步骤输入第二大语言模型,由第二大语言模型基于压缩思维链推理步骤,生成与问题对应的答案;其中,第一大语言模型的模型参数的数量,少于第二大语言模型的模型参数的数量。本申请可以在确保模型生成精度的同时,有效地降低模型的计算成本和响应延迟。
技术关键词
大语言模型
样本
问答方法
蒸馏
实体
问答装置
关系
答案
参数
处理器
模块
教师
指令
语义
学生
可读存储介质
计算机
电子设备
存储器
精度