摘要
本发明提供一种基于语义分块的检索方法、系统、电子设备及存储介质,属于人工智能领域。该方法包括:将文本材料分割成句子并编码为向量;计算相邻句子间的余弦相似度,根据相似度阈值确定块边界将属于同一块边界中的多个句子合并为块并编码;利用LLM模型将用户输入查询进行重写,生成相关度评分,将低于评分阈值的块去除获得目标块;利用BM25检索器进行目标块中的关键词检索,将结果与目标块进行重排序组合成上下文,将其与用户查询送入LLM模型生成答案。通过句子分割生成数值向量表示,并计算句子向量间的余弦相似度,能够更准确地识别新话题的开始从而确定块的边界,优化了信息的组织和检索效率,确保了检索结果的准确性。
技术关键词
检索方法
分块
块边界
语义
生成答案
关键词
文本
电子设备
检索系统
解码器
处理器
编码器
话题
存储器
度量
数值
阶段
组织
程序
系统为您推荐了相关专利信息
记忆
数据检索方法
主题
数据检索装置
知识图谱构建
关系网络构建方法
语义
判断方法
构建系统
地理信息技术