摘要
本申请涉及自然语言处理技术领域,公开了一种用于改进信息检索和生成质量的文本处理方法及装置、计算机系统,本申请通过文档级上下文注入,将整体语义信息融入文本分块,增强上下文关联性。同时,结合用户查询,动态提取高度相关段落,优化检索效率。动态块大小调整和上下文权重调整技术,进一步提升了嵌入和检索效果。此外,通过跨文档检索,实现了更广泛的信息检索能力。该方法有效解决了RAG搜索中处理非结构化文本的多样性、异构性、语境理解和语义分析等挑战,显著提升了信息检索和生成的质量与效率。
技术关键词
文本处理方法
信息检索
分块
计算机系统
语义
深度学习模型
非结构化文本
文本处理装置
动态
自然语言
查询关键词
程序
指令
元素
密度
概念
处理器
阶段