基于预防接种平台的多任务流水线式数据清洗系统及方法

本发明公开了基于预防接种平台的多任务流水线式数据清洗系统及方法，多任务流水线式数据清洗系统包括：配置模块、插件模块、初始化模块、调度模块和存储与推送模块。配置模块基于预设的数据结转配置文件或者数据推送配置文件对插件模块进行配置操作，并得到配置过的插件模块；初始化模块对配置过的插件模块进行初始化操作，并得到初始化过的插件模块；调度模块基于预设的结转任务调度参数或者推送任务调度参数调用初始化过的插件模块对目标数据源进行数据清洗操作，并得到清洗后的数据；存储与推送模块对清洗后的数据进行存储或者推送操作。本方案采用基于多任务流水线式的数据清洗插件，能够高效、稳定地处理大量数据，并具备可扩展性。