摘要
本发明公开了一种基于模型可视化大数据流批生成管理系统及方法,涉及大数据处理技术领域。该系统中,数据模型元数据信息模块用于完成数据采集模型、数仓模型、业务输出模型的可视化创建;并在数仓模型发布时,完成数仓模型的物理化。数据模型任务模块用于完成任务相关配置;并在执行数仓模型发布操作后,生成对应的数据采集任务、数仓计算任务、调度任务以及数据输出任务。数据采集模块用于完成基于数据采集模型的数据采集处理。数据仓库用于完成基于数仓模型的流批一体化计算处理。数据输出模块用于完成基于业务输出模型的数据输出处理。本发明能为大数据流批任务的创建、集成、管理提供一种方便、高效、便捷的方案,满足实际应用需求。
技术关键词
数据采集模型
数据信息模块
数据输出模块
管理系统
数据采集模块
客户端
任务调度器
生成管理方法
分布式消息队列
数据仓库数据
构建数据仓库
大数据处理技术
可视化组件
关系
物理
离线
节点
系统为您推荐了相关专利信息
智能充放电
调度控制器
充放电策略
电网负载预测
历史负荷数据
智能巡视系统
归集方法
样本
图像识别技术
人工智能平台
智能预测系统
变量
卫星遥感数据
数据采集模块
校验单元
生命周期管理系统
融合特征
数字设备
设备运行状态数据
预训练模型