一种基于动态流水线的检索增强生成方法及系统

本发明公开了一种基于动态流水线的检索增强生成方法及系统，属于固态存储和大语言模型交叉领域，包括：通过预设的检索方法检索预先建立的文本语料库，以从中获取top‑k个与用户输入的查询内容最相似的文本作为检索结果，将检索结果放入结果集；检索方法包括多次迭代，每次迭代都会检索出与查询内容最相似的部分文本；在通过检索方法检索文本语料库的过程中，分多次从结果集中预取部分文本并放入预先建立在内存中的流水线池；分多次从流水线池中取文本并提供给大语言模型，以由大语言模型计算相应的键和值，并将计算结果填充至大语言模型的KV缓存，供大语言模型的解码阶段使用。本发明能够掩盖知识检索的延迟，以减少检索增强生成系统的响应时间。