一种面向RAG问答系统的文本分块语义连贯性检测方法

本发明属于人工智能技术机器学习和语义理解领域，涉及语义分析和语义识别，是一种面向RAG问答系统的文本分块语义连贯性检测方法，具体通过对不同分块的语义损失进行量化，辅助拒绝采样构造监督微调（SFT）和强化学习（RL）训练集，进而提升大语言模型的文本分块能力，优化RAG系统的检索效果和答案生成质量。本发明通过量化分块内部的语义一致性和分块边界处的语义跳跃程度，为评估文本分块质量提供了客观依据，并设计实验验证了该算法的有效性，对提升大语言模型的文本分块能力、RAG问答系统的检索效果和答案生成质量具有重要意义。