基于向量数据库与大语言模型的智能文档查重系统及方法

本发明公开了基于向量数据库与大语言模型的智能文档查重系统及方法，包括如下步骤：S1、采集多种格式的文档数据，对文档数据进行预处理；S2、通过大语言模型进行语义编码，生成文档语义向量；S3、将文档语义向量存储至向量数据库中，构建向量索引并记录历史查询数据；S4、初步候选文档检索，基于离群点识别的近似最近邻检索；S5、计算候选文档与待查重文档的相似度，筛选最终高相似度文档；S6、生成查重报告，并记录用户操作行为；S7、接收用户反馈，动态更新文档语义向量和向量索引。本发明利用大语言模型与向量数据库，实现高效、精准的智能文档查重，提升语义匹配能力，优化查重效率，提高查重系统的智能化和适应性。