一种通用的性能卓越的datax插件

本发明涉及数据传输技术领域，具体公开了一种通用的性能卓越的datax插件，包括：int单元、prepare单元、getCopySql单元、executeCopySql单元，init单元读取和校验插件里配置信息，初始化copyJob，prepare单元根据插件里的配置信息生成数据库jdbc连接，测试jdbc连接是否正常访问，获取配置里的preSql，并执行preSql；本发明利用GPDB的COPY特性，在alibaba datax的框架体系下原创实现了高效的PostgresYMWriter插件用以代替alibaba datax官方的PostgresqlWriter插件，同时应用NewIP协议栈使得PostgresYMWriter插件能够处理不同来源的异构数据，并且结合对数据传输过程负载以及流量的实时监控与调整。