一种基于深度学习的RAG检索优化方法、系统及电子设备

本发明公开了一种基于深度学习的RAG检索优化方法、系统及电子设备，包括将存储于不同场景的知识库中的各类文档进行预处理；将预处理后的文本块进行分词处理，获得文本块分词处理后的语料；获取待检索的用户问题，将用户问题和文档中的文本块进行向量化；将向量化后的文本块通过python Annoy框架近似搜索算法构建向量搜索库，得到问题向量的相似向量；利用TF‑IDF算法，基于文本块分词后的语料，提取出文本块的关键词；利用文本块的关键词和所述相似向量进行模型训练；基于训练好的TF‑IDF模型，抽取输入问题和文本块的关键词集合的相似度，分类召回目标知识库。上述方案利用深度学习实现知识库分类粗召回，可弥补采用以往的全量文本块召回导致的耗时长的缺陷。