基于AI的大数据采集清洗方法及系统

本申请涉及数据清洗技术领域，其具体地公开了一种基于AI的大数据采集清洗方法及系统，其首先将待处理数据样本集按照数据类型分组后，提取第一待处理数据样本子集，并引入基于深度学习的数据处理技术对子集中的各个待处理数据样本进行矢量化编码以提取出数据样本特征，接着通过对各个待处理数据样本特征进行枢纽搜索和动态补偿聚合编码，以捕捉到数据样本集合的原型锚定特征，进而以此为基准，通过度量各个待处理数据样本特征相对于数据集合原型锚定特征的语义偏移程度，以实现对噪声样本的识别和清洗。本申请能够有效识别并剔除大规模数据集中的噪声数据，提高数据清洗的准确性和效率。