摘要
本申请公开了基于Flink引擎的数据处理方法、装置、设备及介质,涉及大数据处理技术领域,包括:基于预设多语言序列化框架进行线程安全的实例创建,并将待序列化对象注册至得到的目标实例中;基于预设集成策略并将所述目标实例集成至Flink引擎中的数据传输层、状态管理组件,以得到相应的集成后计算引擎;在利用所述集成后计算引擎进行数据处理的过程中,通过预设字符串压缩算法、零拷贝序列化原则以及所述目标实例触发序列化操作和/或反序列化操作,以完成相应的引擎节点间的数据传输操作、Flink引擎的状态后端的状态存储操作。能够有效提高数据处理的效率、可靠性以及适用性。
技术关键词
压缩算法
数据处理方法
对象注册
集成策略
故障恢复机制
拷贝
多语言
大数据处理技术
存储系统
数据处理装置
节点
编码策略
数据处理模块
集成模块
框架
数据存储
可读存储介质
处理器
系统为您推荐了相关专利信息
人形机器人
数据处理方法
PID控制算法
拉格朗日
神经网络模型
SQL模板
数据处理方法
生成查询条件
字段
计算机程序指令