一种基于分布式计算的多源异构数据集成系统

本发明公开了一种基于分布式计算的多源异构数据集成系统，本发明涉及数据集成领域，包括数据集成平台，数据集成平台中包括数据采集模块、数据储存模块、数据预处理模块、数据分配模块以及数据集成模块；数据采集模块用于采集企业账号内的多源异构数据和负载数据；数据储存模块用于储存历史多源异构数据；数据预处理模块用于根据历史多源异构数据设置分布式格式化处理网络，并根据其负载数据选择分布式格式化处理节点对多源异构数据进行格式统一处理；数据分配模块设置分布式计算处理网络，并对其进行任务分配；数据集成模块根据任务分配结果完成数据处理，获取待集成数据，对其进行集成处理；本发明提高了数据集成的效率。