一种基于大数据的数据采集方法

本发明公开了一种基于大数据的数据采集方法，涉及大数据技术领域，该数据采集方法包括以下步骤：得到待采集数据；得到目标采集数据；标记出目标采集异常数据；评估目标采集异常数据的影响程度；判断目标采集异常数据是否符合预设的数据采集标准。本发明基于异常识别算法，能够快速对目标数据进行异常检测并标记，实现对潜在问题数据的精准定位，有助于提升数据异常处理效率，并且通过评估算法将异常数据与已有数据库比对，能够准确评估异常数据的影响程度，缩短了人工判断时间，同时根据评估结果判断数据是否符合采集标准，能够有效剔除无关或低价值数据，确保采集数据的高相关性和应用价值，进而减少了无效数据的处理成本。