摘要
本发明涉及自然语言处理技术领域,特别涉及一种基于向量检索的文本处理方法及存储介质,本发明提供的基于向量检索的文本处理方法,包括以下步骤:获取待检索文本和向量检索模型,通过向量检索模型获得待检索文本对应的输入词向量和文本向量;确定输入词向量和文本向量的目标相似度;对目标相似度进行归一化处理,获得归一化相似度;从构建的逆文档频率词库中确定待检索文本中所有词的目标逆文档频率,根据待检索文本中所有词的目标逆文档频率确定待检索文本中的罕见词;获取罕见词的词权重,将罕见词的词权重与归一化相似度对比,以根据对比结果准确判断待检索文本中重要词在对应的向量中的信息保留和丢失程度,以具有更好的可解释性。
技术关键词
文本处理方法
bert模型
样本
频率
自然语言
可读存储介质
计算机
处理器
系统为您推荐了相关专利信息
光谱图像分类方法
高光谱图像分类
矩阵
节点特征
分割算法
k均值聚类算法
滤波算法
傅里叶变换算法
分布特征
间隔特征