多源异构数据处理方法、装置及系统

本发明提供了一种多源异构数据处理方法、装置及系统，涉及数据处理技术领域，包括：对多个数据目录进行监听，并在监听到数据目录内存储的多源异构数据文件发生变化时创建数据扫描任务；利用数据扫描集群内包含的节点，针对目标数据目录执行数据扫描任务，得到目标数据目录内发生变化的多源异构数据文件；利用多级数据处理集群内包含的节点，基于预设的通用配置信息表，对多源异构数据文件中每个数据维度对应的字段进行标准化转换得到数据处理结果文件。本发明可以实现多源异构数据的统一处理，不仅显著提升多源异构数据的处理效率，还可以有效缓解多源异构数据处理过程中存在的任务堵塞、数据丢失、服务延迟等问题。