一种基于云计算的交通大数据清洗系统

本发明公开了一种基于云计算的交通大数据清洗系统，包括数据采集与分布式存储模块、多级动态清洗模块、质量评估模块；涉及数据处理技术领域，通过统计分析法计算得到数据缺失率和异常数据占比，动态选择三级清洗模式，实现清洗强度的智能调节，而通过质量评估模块中的设置，通过计算清洗数据与质量模板库中历史质量模板的时空相似性，将余弦相似度和基于欧氏距离的衰减因子相结合，综合考虑数据的方向和距离信息，从多个维度对清洗后数据与历史质量模板的相似性进行评估，避免了单一指标评估的片面性，以支持清洗策略升级，形成数据质量提升的闭环反馈，降低清洗策略决策单元的误判风险。