摘要
本申请公开了一种基于通用标准文件的HBase批量导入方法、设备及存储介质,涉及数据处理技术领域,公开了基于通用标准文件的HBase批量导入方法,包括:将数仓平台导出的标准文件传输至与HBase集群关联的HDFS目录;基于所述HDFS目录,通过MapReduce作业将所述标准文件转换为符合目标HBase表结构的HFile文件;通过BulkLoad命令将所述HFile文件迁移至目标HBase目录,以完成数据导入。本申请通过直接解析通用标准文件,消除了多源数仓平台与HBase间的中间格式转换环节,提高了数仓平台导入数据至HBase的效率和可用性。
技术关键词
HBase表
数据处理器
批量
目录
集群
数据转换模块
平台
命令
数据处理技术
生成规则
可读存储介质
存储器
字段
分区
语义
报告
格式
系统为您推荐了相关专利信息
动态权重优化
多模态特征融合
语义特征
决策算法
条目
挂接方法
数据项
标签
批量
非易失性计算机存储介质
风电机组
虚拟惯量控制
补偿控制方法
动态响应模型
虚拟惯性控制