一种联邦知识检索与大语言模型增强系统及方法

本发明涉及一种联邦知识检索与大语言模型增强系统及方法，系统包括服务器和硬件加速器。服务器对输入查询进行预处理，提取查询的中心词；通过自身的缓存模块在缓存过程中检索中心词，若缓存模块的缓存未命中，服务器向硬件加速器发送检索指令以在硬件加速器的本地缓存中检索；若本地缓存仍未命中，硬件加速器以将本地知识图谱分割的方式生成与中心词关联的并行子任务，从而进行深度搜索，并将并行子任务检索到的知识项加入噪声以保护敏感信息，硬件加速器将加入噪声的知识项整合并通过大语言模型进行推理并生成增强后的回答。本发明构建两级动态缓存体系，可有效减少跨设备通信频次，优先通过本地高频缓存响应查询请求，降低系统整体网络负载。