一种文本分块方法、装置、存储介质及电子设备

AITNT
正文
推荐专利
一种文本分块方法、装置、存储介质及电子设备
申请号:CN202510939805
申请日期:2025-07-09
公开号:CN120448524B
公开日期:2025-09-30
类型:发明专利
摘要
本说明书公开了一种文本分块方法、装置、存储介质及电子设备,对原始知识文档分割得到的各初始文本块分别进行依存句法分析,得到各初始文本块的语义三元组,针对每个初始文本块,根据该初始文本块的语义三元组,构建语义网络图,所述语义网络图中的节点表示句子成分,边表示依存关系。根据所述语义网络图的图密度,确定该初始文本块的语义密度。本方法中,将抽象的语义密度转化为图结构,并通过图结构的图密度对语义密度进行量化,以便根据语义密度分割得到包含信息量相对均匀的文本块,提升大模型增强检索时的效果。
技术关键词
语义 文本分块方法 密度 三元组 依存句法分析 实体 节点 电子设备 处理器 模块 信息熵 可读存储介质 存储器 计算机 程序
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号