摘要
本申请实施例提供一种数据跑批处理方法、装置、设备及存储介质,所述方法在启动数据跑批任务后,可以获取待处理批量数据,并检测待处理批量数据的数据状态。其中,数据状态包括数据重复状态、数据完整性、波动状态以及资源状态中的一种或多种组合。再根据数据状态生成跑批日志,并对跑批日志执行报错归类分析,以获得待处理批量数据的当前报错类别。再按照当前报错类别匹配修复方案,以及执行修复方案。所述方法可以自动对待处理批量数据执行数据跑批任务,并根据跑批日志对跑批过程中的报错执行归类分析,从而按照报错类别执行修复方案,可以提高对跑批报错的处理效率,解决数据跑批任务的执行效率低的问题。
技术关键词
批量数据
跑批处理方法
机器学习模型
日志
系统资源参数
业务终端
批处理装置
识别关键字
状态检测模块
重启进程
神经网络模型
数据获取模块
处理器
样本
计算机设备
分析模块
标记
系统为您推荐了相关专利信息
多模态
动态权重分配
长短期记忆神经网络
参数
交通流量预测
决策分析方法
作物需水量
地下水
指数
土壤湿度传感器
表面强化工艺
智能设计方法
齿轮表面硬度
接触疲劳强度
弯曲疲劳强度