RAG场景下自适应输入窗口的大语言模型推理系统及方法

本发明涉及一种RAG场景下自适应输入窗口的大语言模型推理系统及方法，该系统包括：用户代理部分：用于获取用户的查询请求；向量数据库VDB部分：与所述用户代理部分和大语言模型部分连接，所述向量数据库VDB部分用于根据所述大语言模型部分获取大语言模型输入窗口参数、接收用户的查询请求，并从本地知识库中查询出候选的文本块组，再将所述用户的查询请求和候选的文本块组填充至提示模版中，得到包含上下文的提示模版；大语言模型部分：用于采用对应的大语言模型对所述包含上下文的提示模版进行内容推理，并将推理结果返回给用户代理部分。与现有技术相比，本发明具有充分利用大语言模型的大窗口，实现更多本地知识输送推理等优点。