基于向量检索的模型可解释性文本处理方法及存储介质

首页 AI资讯 AI技术研报 AI监管政策 AI产品测评 AI商业项目 arena全球大模型排行榜 AI产品热榜 AI 源力市场 AI新闻日报

正文
推荐专利
基于向量检索的模型可解释性文本处理方法及存储介质
申请号:CN202511146437
申请日期:2025-08-15
公开号:CN120744082B
公开日期:2025-11-28
类型:发明专利
摘要
本发明涉及自然语言处理技术领域,特别涉及一种基于向量检索的文本处理方法及存储介质,本发明提供的基于向量检索的文本处理方法,包括以下步骤:获取待检索文本和向量检索模型,通过向量检索模型获得待检索文本对应的输入词向量和文本向量;确定输入词向量和文本向量的目标相似度;对目标相似度进行归一化处理,获得归一化相似度;从构建的逆文档频率词库中确定待检索文本中所有词的目标逆文档频率,根据待检索文本中所有词的目标逆文档频率确定待检索文本中的罕见词;获取罕见词的词权重,将罕见词的词权重与归一化相似度对比,以根据对比结果准确判断待检索文本中重要词在对应的向量中的信息保留和丢失程度,以具有更好的可解释性。
技术关键词
文本处理方法 bert模型 样本 频率 自然语言 可读存储介质 计算机 处理器
添加客服微信AITNT178,进AITNT官方交流群
沪ICP备2023015588号