多层级批量文本并行去重方法、系统、设备及存储介质

本发明公开了一种多层级批量文本并行去重方法、系统、设备及存储介质，方法包括将文本数据进行预处理，并分别在篇章级、段落级、语句级进行敏感哈希的相似度文本表征和内容去重，在去重过程加入优先级得分和排序规则排除去重随机性；内容去重时根据敏感哈希的相似度文本表征创建图结构，在图结构上利用并查集的合并与分离建立多个连通分量，在每个连通分量内部采用动态哈希阈值选择目标文本予以保留；在上述过程中，针对篇章级、段落级和语句级文本分别构建数据帧对象，分配唯一标识，采用分块延迟计算与指针存储的并行去重策略优化时间复杂度与所需的内存空间。本发明可以提升去重的速度和准确度，同时解决大批量去重面临的内存短缺难题。