一种基于语义精准分块和精准背景信息生成的RAG方法

本发明提出了一种基于语义精准分块和精准背景信息生成的RAG方法，属于人工智能技术领域。该方法包括，在推理前准备阶段：预处理大量相关知识文本，按字数将其分割成粗粒度文本块；通过大语言模型将粗粒度文本块按语义拆分为多个细粒度文本块，并为每个细粒度文本块生成上下文摘要及关联问题；将细粒度文本块与上下文摘要拼接成最终文本块，作为包含精准背景信息分块；最终的文本块和关联问题向量化后存储于不同的向量数据库中。在推理阶段，当面对用户问题时，系统会先将用户问题文本进行向量化，再分别从上述不同的向量数据库中分别检索出最相关的条目进行合并，然后通过一个重排序模型对上述检索结果进行优化排序，挑选出排名靠前的文本块供大语言模型生成回答。这种方法有效改进了传统RAG方法中分块不准、上下文信息缺失和检索不够准确的问题。