一种高相似性重复数据清洗方法、系统、设备及介质

本发明提供一种高相似性重复数据清洗方法、系统、设备及介质，涉及高相似性重复数据清洗技术领域，包括读取文本数据集；对文本数据集进行哈希化处理与集群划分，得到相似重复数据集群和非重复数据集群；执行查重操作和去重操作，得到重复数据集和去重后数据集；对重复数据集和去重后数据集分别进行抽样核查，纠正误判数据并动态优化哈希函数的参数。本发明可准确识别文本数据集中地高相似性重复数据，实现大规模文本数据集的高效清洗，同时可以实现动态优化，适应性强。