基于RAG的文本块动态切分方法及系统

本发明提供了一种基于RAG的文本块动态切分方法及系统，方法包含解析文档的多级目录结构，以目录节点为基准切分文本块；对无目录或目录不完整的文档，转入规则和语义的混合切分模式；对连续文本流执行潜在狄利克雷分配主题建模，实时计算每段文本的主题分布向量；对检测到的话题边界执行自适应切分，在话题突变点插入硬切分标记，对渐变话题区域采用软切分；滑动窗口的初始窗口尺寸根据文档类型设定，实时监测窗口内语义密度；层次化分块重组。系统包含切分模式模块、标记确认模块及分块重组模块。本发明使RAG检索的准确率提升，内存占用降低，同时支持流式吞吐量。