摘要
本申请公开了一种时空数据分析计算的算子编排方法、设备及存储介质,涉及数据处理技术领域,该方法包括:在生成算子编排图后,对算子编排图进行解析,确定待执行算子以及待执行算子之间的依赖关系;根据待执行算子对应的代码片段和依赖关系,生成可执行文件;根据输入数据的分布式数据集的分区,将可执行文件对应的运行任务划分为多个子任务;将子任务分配给分布式集群中各自对应的计算节点,进行并行执行,当各个子任务执行完毕后,得到执行结果。通过输入数据的分布式数据集的分区情况,创建并行运行的子任务并将其分配给计算节点进行计算,实现了单个算子节点在多台服务器上运行计算,提高了大数据量下的空间数据的计算效率。
技术关键词
编排方法
分区策略
生成可执行文件
节点
深度优先搜索算法
集群
链表
标识符
关系
编排设备
可读存储介质
数据处理技术
画布
处理器
阶段
列表
存储器
计算机
系统为您推荐了相关专利信息
抗震性能分析方法
ABAQUS平台
复位结构
柱脚节点
梁柱节点
节点
面向电力系统
线性化方法
电力系统低碳
排放流
动态封装方法
因子
广度优先搜索算法
资产
时效性
节点
匿名认证方法
车联网环境
私钥
签名验证算法
环保型GIS设备
零序等效电路
接地保护方法
金属外壳
等效电路模型