一种基于大模型和RAG技术的全局知识抽取方法及系统

本发明公开了一种基于大模型和RAG技术的全局知识抽取方法及系统，属于大模型数据处理技术领域，本发明采用局部敏感哈希去重和动态阈值合并相似文本，减少冗余数据干扰；基于分隔符置信度的文本分割策略，确保分割后的文本块既保持语义完整，又适配大模型输入长度限制，融合相似性检索和全文检索，结合RRF算法对结果重排序，兼顾语义相关性和精准性，满足多场景知识构建需求，通过互信息筛选高相关性的实体对，结合RAG系统从向量数据库中检索上下文知识，利用大语言模型进行语义推理，生成实体间隐含的逻辑关系，实现从数据关联到知识生成的跃升。