摘要
本发明涉及数据处理技术领域,特别涉及一种支持多源异构数据的处理方法及系统,所述方法包括:从不同的目标系统采集数据,并为每条数据添加对应目标系统的识别标签;构建多条与ETL路径并行的实时流水线对采集到的数据进行处理,将解析失败数据写入错误数据区,并生成警告信息;将采集到的数据去除解析失败数据后写入临时存储区内;将实时数据处理系统的输出和/或ETL路径的输出写入数据仓库;利用数据仓库内数据创建可视化的动态报表,通过预训练的机器学习模型对动态报表数据进行分析预测,并将预测结果写入动态报表,以预测库存需求和识别供应商风险。
技术关键词
实时数据处理系统
多源异构数据
机器学习模型
滑动时间窗口
比例积分控制算法
报表
语义标签
动态
滑动窗口
识别标签
强化学习算法
流数据处理系统
系统特征
时间序列预测模型
资源
数据处理引擎
插件
数据采集接口
NTP协议
系统为您推荐了相关专利信息
PID控制参数
闭环控制
数据
PID控制器
流量控制方法
光伏光热一体化
温度调节装置
大棚
模型预测控制系统
执行机构
电网调度方法
新能源发电站
基线负荷预测
新能源发电预测
长短期记忆网络
聚合物材料
拉曼光谱检测仪
应力检测装置
拉曼特征
碳材料