摘要
本发明提供一种数据路由方法、装置、电子设备及存储介质,属于数据路由技术领域,包括:获取数据源的目标数据,并将目标数据封装为Flume中的Event对象;提取目标数据的业务字段和时间戳,并将业务字段和时间戳写入Event的Header中;在Flume配置文件中查找业务字段对应的表存储路径,将表存储路径写入Header中,并将Event存入Flume的Channel中;从Channel中取出Event,根据Header中的表存储路径和时间戳生成分区表路径,将Event写入分区表路径对应的分区表。本发明基于Flume组件实现了数据的直接写入,无需通过Kafka中转实现数据分发,降低了数据路由的延迟。
技术关键词
数据
非暂态计算机可读存储介质
业务规则引擎
字段
实体识别模型
检查点
白名单
电子设备
处理器
目录
格式
计算机程序产品
封装模块
标识
对象
存储器
标记
批量
机制
系统为您推荐了相关专利信息
杂质检测方法
石英砂
强度
计算方法
皮尔逊相关系数
微粒群优化算法
协调控制方法
规划
协调控制系统
变邻域搜索算法
多模态数据采集
辅助决策系统
可视化交互平台
多源异构数据
文本
点云数据处理
表面缺陷检测方法
无监督学习
多项式
监督学习分类模型
风险预测方法
风险预测模型
机器学习算法
电化学储能系统
风险预测技术