基于AI训练的大数据清洗方法、系统、设备及存储介质

本发明公开了基于AI训练的大数据清洗方法、系统、设备及存储介质，涉及大数据清洗技术领域，包括：对待清洗的数据集进行数据分析，获取数据集中的异常重复数据以及异常常规数据；对异常常规数据进行常规清洗处理；使用冗余质量筛选法进行筛选，对冗余数据进行剔除并对AI进行训练；本发明用于解决在使用AI进行数据清洗的过程中，通常会对数据中的重复项进行移出从而实现去冗余，但AI在训练过程中无法准确判断是否对重复项进行移出，从而会出现将备份数据删除的情况，造成清洗后的数据库中存在数据缺失的问题。