一种知识数据去重方法、装置、设备及介质

本申请属于大数据领域，涉及一种知识数据去重方法，包括：从知识文档库中获取目标知识数据，目标知识数据包括多个知识文档；基于预设的哈希聚类算法，对多个知识文档进行文本聚类，得到多组文档簇；采用预设的语义向量模型，对多组文档簇内各知识文档进行语义去重，得到目标知识数据对应的去重文档。本申请还提供一种装置、设备及介质。本申请可应用于金融保险等业务领域中，可以提高知识数据去重的效率和准确率。