一种基于消息队列的高性能时序数据解析与自适应传输系统

本发明公开了一种基于消息队列的高性能时序数据解析与自适应传输系统，涉及数据传输技术领域，该系统包括：时序数据文件监听模块，用于监听时序数据文件夹，触发解析任务；双引擎解析器模块，用于判定待处理文件的格式类型，启用相应的文件解析引擎，并采用智能数据分类算法进行分类，分配至不同解析线程；自适应线程池模块，用于基于动态令牌桶算法，动态调整虚拟线程数量，执行数据解析处理任务；双主题优先级调度模块；网络自愈断点续传模块；磁盘健康管理模块。本发明支持高达每秒50万点高并发时序数据解析发送，在面对网络波动的情况下可以自适应启停程序，且支持实时和历史数据的优先级调度和分区分主题发送。