摘要
本说明书公开了一种文本分块方法、装置、存储介质及电子设备,对原始知识文档分割得到的各初始文本块分别进行依存句法分析,得到各初始文本块的语义三元组,针对每个初始文本块,根据该初始文本块的语义三元组,构建语义网络图,所述语义网络图中的节点表示句子成分,边表示依存关系。根据所述语义网络图的图密度,确定该初始文本块的语义密度。本方法中,将抽象的语义密度转化为图结构,并通过图结构的图密度对语义密度进行量化,以便根据语义密度分割得到包含信息量相对均匀的文本块,提升大模型增强检索时的效果。
技术关键词
语义
文本分块方法
密度
三元组
依存句法分析
实体
节点
电子设备
处理器
模块
信息熵
可读存储介质
存储器
计算机
程序