真实场景中的海量文本查重方法、系统、设备及存储介质

本发明公开了一种真实场景中的海量文本查重方法、系统、设备及存储介质，属于文本查重技术领域，解决现有文本查重算法在面对真实场景下海量文本数据时查重速度较慢并且缺乏对语义查重的技术问题。方法为根据真实场景建立包含向量库和文字库的文档库；选择向量化模型并进行微调训练优化得到向量化处理模型；获取用于校验查重的全部文档并生成查重数据库；获得需要被查重的文档并生成待查重数据；将待查重数据和查重数据库依次进行向量相似度比对、相同字数筛选和连续相同字数筛选，获得最终查重命中的文本内容。可以兼顾语义级和字符级的多重查验，并有效提升查重在海量文本中的计算效率。