分布式多源异构数据资源处理方法、系统和设备

本发明涉及分布式多源异构数据资源处理方法、系统和设备，通过对分布式资源进行深入研究分析，将资源更新处理划分为数据清洗、数据融合和数据编目三个部分，首先采用了Tire树关键字匹配算法快速准确的实现数据去重，然后采用了Hash Join融合算法，结合实际应用场景及多种融合需求，提高多表融合效率，最后采用L‑C增量抽取方式，基于数据库事务日志实现增量抽取，从而完成总体的分布式资源更新处理，这些任务均在资源配置子系统中通过任务中间件执行，相比传统技术，提高了复杂、实时条件下分布式多源异构数据更新的效率及实时性。