基于查询和元数据异常检测的数据湖仓聚簇方法与系统

本发明涉及基于查询和元数据异常检测的数据湖仓聚簇方法与系统，属于大数据计算技术领域。包括：数据采集与预处理；EC‑GKDE算法异常判定：对预处理操作后的数据集进行训练，得到所有查询任务的异常分数，进行初次判定；元数据信息异常判定：获取异常查询任务的关联表，获取Hive元数据服务中HDFS实际路径信息，并计算该HDFS实际路径下小文件所占比例，二次判定该异常查询任务的关联表是否为异常表；聚簇优化：提交聚簇任务，将小文件合并为大文件。本发明减少存储资源的开销，大大降低了查询任务需要消耗的时间；本发明可以控制聚簇操作执行的次数，减轻聚簇机制带来的并发更新不支持、增量查询不友好和集群资源浪费的问题。