摘要
本说明书一个或多个实施例提供一种检索增强生成方法、装置、设备及存储介质。该方法利用多个并行通道分别从多个维度上对查询请求进行检索;之后按照各个通道返回召回内容的时间顺序,对各个通道的召回内容进行预填充,其中,每个通道的预填充结果被存储至缓存装置中,且该通道的预填充结果根据前一个返回召回内容的通道所缓存的预填充结果得到;最后根据最后返回召回内容的通道的预填充结果,得到大语言模型的输出结果。由于按照通道返回召回内容的时间顺序进行预填充,降低了一次检索增强生成请求过程中的等待时间,且当前通道的预填充结果根据前一返回召回内容的通道所缓存的预填充结果进行计算,避免了预填充阶段的重复计算。
技术关键词
通道
缓存装置
大语言模型
生成方法
队列
处理器
指令
计算机程序产品
生成装置
可读存储介质
时间差
场景
电子设备
存储器
阶段
模块
系统为您推荐了相关专利信息
短时傅里叶变换
卷积神经网络模块
信号预处理模块
卷积神经网络模型
滑动窗口
网络监测设备
网络控制
报文传输方法
报文传输装置
生成随机数