一种基于人工智能的大数据清洗方法及系统

本发明公开了一种基于人工智能的大数据清洗方法及系统，具体涉及大数据领域：通过系统化的大数据清洗流程，结合逐字节匹配分析、相似度计算、聚类分析和机器学习模型的应用，实现了高效、精准的数据去重，通过对不匹配目标字段的相似度评估和分类，再结合聚类算法生成特征，并训练机器学习模型，优化了去重过程的准确性和可靠性，显著减少了误删关键客户记录的风险，保障了企业客户数据的完整性，提高了客户关系管理的运营效率和决策质量。