一种大数据处理方法、系统及存储介质

本发明提供了一种大数据处理方法、系统及存储介质，属于大数据处理与分析技术领域。所述方法包括：获取原始数据并通过数据类型识别模块进行分类，生成数据类型标签序列；基于所述数据类型标签序列，对原始数据进行初步清洗，形成初步清洗后的数据集；基于初步清洗后的数据集，采用多维度数据质量评估模型，生成数据质量评分序列；根据所述数据质量评分序列，识别异常值和噪声，并进行修复，生成质量评估后的修复数据集；基于所述修复数据集，执行多源数据融合与去重操作，形成去重后的融合数据集。本发明提升了科创大数据的质量和准确性，实现了高效的数据处理和统一存储，适用于复杂多源数据的处理场景。