一种异构数据源的分析处理系统

本申请公开了一种异构数据源的分析处理系统，数据源抽象层，采用迭代器设计模式统一封装异构数据源，提供标准访问接口集，数据处理层从数据源抽象层获取原始数据并转换为结构化数据行，流程执行层通过统一的WorkerBase基类封装异构执行单元，该基类提供初始化接口、输入/输出端口获取接口、消息通知接口、工作模式设置接口及类型获取接口；流程构建器用于配置Worker间连接关系、分配任务至线程池、采用工作窃取机制负载均衡，并支持合并连续任务。通过迭代器接口统一封装异构数据源并输出结构化数据行实现数据零改造接入，同时借助WorkerBase基类封装多模态执行单元及流程构建器的工作窃取与任务合并机制达成异构分析工具无缝兼容与效率提升。