一种文本数据并行语义去重方法、系统、设备及介质

本发明提供了一种文本数据并行语义去重方法、系统、设备及介质，属于文本处理技术领域。所述方法包括：采集待去重的大规模文本数据，进行预处理后生成样本数据，并使用BERT词表进行分词和词频统计，计算出每条样本数据的词频向量；使用预训练的BERT模型提取样本数据的语义特征，根据词频向量计算出样本数据中词语的词语语义权重，并基于语义特征和simhash算法计算样本数据的相似度；根据样本数据的语义相似度，维护预删除字典和全局去重图，并基于全局去重图执行样本数据的删除操作，形成去重后的数据集。本发明通过结合BERT模型、simhash算法及全局去重图，有效提供了大规模文本数据的并行语义去重的效率和准确性。