用于改进信息检索和生成质量的文本处理方法及装置、计算机系统

AITNT
正文
推荐专利
用于改进信息检索和生成质量的文本处理方法及装置、计算机系统
申请号:CN202410915222
申请日期:2024-07-09
公开号:CN118535710A
公开日期:2024-08-23
类型:发明专利
摘要
本申请涉及自然语言处理技术领域,公开了一种用于改进信息检索和生成质量的文本处理方法及装置、计算机系统,本申请通过文档级上下文注入,将整体语义信息融入文本分块,增强上下文关联性。同时,结合用户查询,动态提取高度相关段落,优化检索效率。动态块大小调整和上下文权重调整技术,进一步提升了嵌入和检索效果。此外,通过跨文档检索,实现了更广泛的信息检索能力。该方法有效解决了RAG搜索中处理非结构化文本的多样性、异构性、语境理解和语义分析等挑战,显著提升了信息检索和生成的质量与效率。
技术关键词
文本处理方法 信息检索 分块 计算机系统 语义 深度学习模型 非结构化文本 文本处理装置 动态 自然语言 查询关键词 程序 指令 元素 密度 概念 处理器 阶段
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号