一种基于datax的报告类数据同步方法和装置

本发明提供一种基于datax的报告类数据同步方法和装置，通过在Reader插件中，基于待获取数据的数据结构初始化分页控制参数，从而通过HTTP请求方式循环发送数据获取请求，从源端循环获取分页大小的分页数据响应直至达到终止条件，并对分页数据响应中嵌套结构的数据字段进行解析，生成各个数据字段对应的中间结构化数据对象，进而对嵌套结构的数据字段对应的中间结构化数据对象和非嵌套结构的数据字段进行数据预处理，形成预处理数据对象，再基于Reader插件将预处理数据对象传递至Writer插件，并基于Writer插件按批量策略缓存预处理数据对象并提交至目标数据系统，提升了针对多源异构数据的同步准确性和可扩展性。