应用于政务大厅的数据集中处理方法、系统、设备及介质

本发明公开了应用于政务大厅的数据集中处理方法、系统、设备及介质，属于数据处理技术领域，本发明要解决的技术问题为传统数据处理方法面临效率低下，准确性不高以及扩展性不强，采用的技术方案为：搭建分布式计算框架：分布式计算框架包括数据接口、计算节点以及通信信息的分布式计算框架；数据接收：通过数据接口接收待处理的数据集；数据预处理：对接收到的数据集进行数据清洗、数据转换及数据标准化的预处理操作；数据分割：将预处理后的数据集分割成多个数据块，每个数据块包含一部分数据；分布式计算：利用分布式框架件分割后的数据块分发到多个计算节点进行并行处理；数据处理；结果合并；数据输出。