基于Flink引擎的数据处理方法、装置、设备及介质

AITNT
正文
推荐专利
基于Flink引擎的数据处理方法、装置、设备及介质
申请号:CN202411745601
申请日期:2024-11-29
公开号:CN119576880A
公开日期:2025-03-07
类型:发明专利
摘要
本申请公开了基于Flink引擎的数据处理方法、装置、设备及介质,涉及大数据处理技术领域,包括:基于预设多语言序列化框架进行线程安全的实例创建,并将待序列化对象注册至得到的目标实例中;基于预设集成策略并将所述目标实例集成至Flink引擎中的数据传输层、状态管理组件,以得到相应的集成后计算引擎;在利用所述集成后计算引擎进行数据处理的过程中,通过预设字符串压缩算法、零拷贝序列化原则以及所述目标实例触发序列化操作和/或反序列化操作,以完成相应的引擎节点间的数据传输操作、Flink引擎的状态后端的状态存储操作。能够有效提高数据处理的效率、可靠性以及适用性。
技术关键词
压缩算法 数据处理方法 对象注册 集成策略 故障恢复机制 拷贝 多语言 大数据处理技术 存储系统 数据处理装置 节点 编码策略 数据处理模块 集成模块 框架 数据存储 可读存储介质 处理器
系统为您推荐了相关专利信息
1
数据处理方法、装置、介质和程序产品
数据处理方法 矩阵 对象 序列 时间段
2
一种基于并行计算的人形机器人数据处理方法及系统
人形机器人 数据处理方法 PID控制算法 拉格朗日 神经网络模型
3
一种数据处理方法、设备、介质及程序产品
SQL模板 数据处理方法 生成查询条件 字段 计算机程序指令
4
一种用于CFD仿真的数据处理方法及计算机存储介质
参数 数据处理方法 层级 文件夹 关系
5
一种数据处理方法、装置、以及跟踪扫描系统
跟踪器 数据处理方法 扫描器 关系 扫描系统
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号