摘要
本发明涉及大数据技术领域,公开了一种时空大数据的任务调度方法、装置及存储介质,其中,该方法包括:对原始时空数据进行ETL清洗和标准化处理,得到符合OGC规范的统一格式时空数据;对所述统一格式时空数据进行空间降维运算并构建时空索引,得到时空索引数据集;将所述统一格式时空数据按照时空特征进行分布式存储并压缩,得到分区压缩数据;对所述分区压缩数据建立多维度查询索引,得到任务分配方案;基于所述任务分配方案执行分布式数据检索,得到原始查询结果;对所述原始查询结果进行数据完整性校验和空间关系重构,得到目标查询数据。该方法实现了计算资源的合理分配,有效降低各节点性能压力,提升了数据的可用性和互操作性。
技术关键词
时空大数据
任务调度方法
索引
数据完整性校验
空间填充曲线
数据格式
任务调度装置
传感器网络设备
分区策略
执行数据预取
数据完整性检测
节点
分布式存储架构
数据安全控制
空间邻近关系
统一数据结构
压缩算法
系统为您推荐了相关专利信息
多源异构数据
分布式数据采集
查询意图
查询方法
语义标签
牙槽骨缺损
掩膜矩阵
识别方法
图像
分类识别模型