一种基于原生模块注入的数据与AI融合管线的加速方法

本申请提供一种基于原生模块注入的数据与AI融合管线的加速方法，在利用PySpark执行工作计划之前，先获取工作计划树，将工作计划树分为第一类子树和第二类子树。将第一类子树的树根节点和树叶节点接入诸葛弩模块的输出节点和输入节点，当执行第一类子树的树根节点之前，将第一类子树的各节点均利用诸葛弩编译器编译得到二进制模块，基于二进制模块以及其包含的模块函数，将第一类子树的树叶节点与第二类子树的树根节点建立连接，即第一类子树的树根节点在执行后能够将第一类子树对应的第一类数据集转换为与第二类子树具有相同特性的第二类数据集，也即使得工作计划树能够全部被PySpark支持，实现了两类数据集的深度整合，无缝兼容。