摘要
本发明属于自然语言处理技术领域,公开了一种基于大语言模型思维链蒸馏的查询扩展方法及相关装置,包括获取原始查询语句;将原始查询语句输入至查询扩展模型,得到查询扩展思维链;将原始查询语句和查询扩展思维链进行拼接,得到查询扩展语句;将查询扩展语句应用于检索系统进行查询检索,得到查询结果;其中,查询扩展模型通过下述方式得到:基于大语言模型获取若干训练样本;采用若干训练样本通过知识蒸馏技术对小参数语言模型进行有监督微调,得到查询扩展模型。能够更全面地涵盖用户潜在需求,有效提升查询的全面性和准确性。小参数语言模型在部署和使用时对硬件资源要求较低,运行速度快,能够降低计算成本,满足实时检索系统的响应要求。
技术关键词
查询扩展方法
原始查询语句
大语言模型
知识蒸馏技术
检索系统
查询扩展系统
检索方法
参数
模板
可读存储介质
语义向量
处理器
拼接模块
扩展模块
自然语言
计算机设备
关键词
存储器
系统为您推荐了相关专利信息
飞机制造工艺
自动编制方法
组件对象模型
大语言模型
语义
建筑能耗预测方法
大语言模型
多头注意力机制
建筑能耗预测系统
生成时间序列数据