摘要
本发明公开了一种大模型检索增强生成中关于文档切分效果评估的方法,涉及文档切分技术领域,方法包括:获取待评估文档的进行切分处理后得到的切分对,按照顺序将切分对输入至通用语义模型中,得到每个切分对对应的目标评价值,基于评价值与效果等级对应关系,确定所有目标评价值对应的目标效果等级;通用语义模型的训练过程具体为:对训练文档进行切分得到至少两个原始切块;对任一原始切块进行随机切分,得到预设个数的切片;按照语义是否存在相关性进行标注,得到n组训练样本;计算任一组训练样本对应的目标相关性分数以及目标分离性分数,确定该训练样本对应的评价值。本发明可以反馈每个文档对应的分割效果的评分也可以有助于辅助文档切分。
技术关键词
切块
语义
生成语句
电子设备
切片方式
可读存储介质
处理器
标识
关系
计算机
存储器
模块