摘要
本发明涉及数据处理技术领域,提供一种实时数据流处理方法、系统、设备及介质,一方面,当接收到实时数据流时,计算逻辑层基于CEP引擎动态调整事件驱动型窗口以处理实时数据流,能够动态调整窗口,降低了事件漏检率;一方面,在实时数据流的处理过程中,基础设施层基于弹性资源调度引擎进行动态资源调整,实现了资源的动态分配,提高了集群利用率;另一方面,当检测到在处理过程中产生异常信号时,容错层基于增量式Checkpoint机制对异常数据进行容错处理,增量式数据处理及轻量级的容器迁移方式实现了故障的高效恢复,同时减少了Checkpoint存储开销。
技术关键词
CEP引擎
事件驱动型
资源需求数据
资源配置数据
ARIMA模型
逻辑
分布式存储系统
数据分布特征
历史流量数据
异常数据
异常信号
计算机设备
动态
机制
可读存储介质
容器
数据处理技术
模式匹配