摘要
本发明涉及消息队列技术领域,尤其是涉及一种基于kafka的消息可控优化方法及系统,所述方法,包括获取数据属性,并根据数据属性计算数据优先级数值;基于优先级数据构建位置索引缓存机制,根据位置索引缓存机制将缓存池中的分区‑偏移量数据持久化到索引表,基于持久化的优先级索引进行高优先级消息的优先消费,包括设置消费控制程序架构,并对消费队列隔离和引入消息去重操作;在高优先级消息的优先消费的前提下进行全链路性能调优,基于调优后的全链路进行业务场景扩展,本发明通过消费控制程序按优先级定向拉取消息,突破了Kafka分区并行消费的无序性,使高优先级消息可直接跳转至对应位置优先处理,显著缩短消费延迟。
技术关键词
拦截器
缓存机制
索引表
分区
数据中心
LRU算法
链路
动态分配内存
消息队列技术
数值
无锁队列
分布式环境
回调方法
批量
数据获取模块
系统为您推荐了相关专利信息
岩石节理面
体积计算方法
点云配准方法
面点
三维激光扫描设备
虚拟现实技术
交互系统
生成全景
室内空间设计技术
家具
分配CPU资源
硬件资源分配方法
分区
内存
资源分配模块
内存页交换方法
一体化设备
交换设备
压缩算法
加快数据访问速度