摘要
本申请公开了一种高可靠性消息队列的数据处理方法、系统和电子设备,涉及数据处理技术领域,数据处理方法,包括:生产者发送消息至主节点,主节点写入日志并同步至从节点,并返回生产端ACK;所述主节点和所述从节点通过Raft协议保证数据一致性,消息状态标记为“待消费”;消费者拉取消息,处理完成后返回消费端ACK,所述主节点更新消息状态;令牌桶限制消息入队速率,缓冲区暂存超额消息并定期重试;监控组件触发扩缩容策略,动态调整节点数或消费实例数。通过生产端确认、存储层双副本同步、消费端重试机制确保消息可靠传输,结合令牌桶算法实现流量削峰填谷。
技术关键词
数据处理系统
数据处理方法
队列
主节点
保证数据一致性
Raft协议
流量控制模块
发送消息
更新消息
监控组件
令牌桶算法
日志
通信接口
动态
超时机制
电子设备