摘要
本发明涉及消息队列技术领域,尤其是涉及一种基于kafka的消息可控优化方法及系统,所述方法,包括获取数据属性,并根据数据属性计算数据优先级数值;基于优先级数据构建位置索引缓存机制,根据位置索引缓存机制将缓存池中的分区‑偏移量数据持久化到索引表,基于持久化的优先级索引进行高优先级消息的优先消费,包括设置消费控制程序架构,并对消费队列隔离和引入消息去重操作;在高优先级消息的优先消费的前提下进行全链路性能调优,基于调优后的全链路进行业务场景扩展,本发明通过消费控制程序按优先级定向拉取消息,突破了Kafka分区并行消费的无序性,使高优先级消息可直接跳转至对应位置优先处理,显著缩短消费延迟。
技术关键词
拦截器
缓存机制
索引表
分区
数据中心
LRU算法
链路
动态分配内存
消息队列技术
数值
无锁队列
分布式环境
回调方法
批量
数据获取模块
系统为您推荐了相关专利信息
脱硝系统
训练样本集
一氧化碳
入口
构建预测模型
背光控制系统
显示屏模块
光驱模块
低功耗
分区板
性能检测系统
集成控制模块
脚本
数据分析模块
半导体检测技术
数字孪生
管控方法
图谱
GNSS定位数据
激光雷达扫描数据
云GIS平台
云数据中心
巷道模型
服务端
双线性