基于Flink、Kafka与Doris的高性能AIOT实时数据处理方法及装置

本发明公开一种基于Flink、Kafka与Doris的高性能AIOT实时数据处理方法及装置，该方法构建端到端分层架构，通过Flink CDC实时捕获多源数据库变更数据，结合ApacheNiFi解析半结构化数据并生成标准化数据流；基于业务域划分KafkaTopic实现消息路由，利用Schema Registry保障数据结构一致性，通过动态压缩算法优化传输效率；采用Flink实时计算引擎实施窗口聚合、异步维表关联及增量状态持久化策略，解决流式计算中的资源波动与状态管理难题；通过Doris存储层实现时间预分区与智能冷热分层，结合物化视图与多级索引提升查询性能，最终形成“采集‑传输‑计算‑存储‑治理”的全链路闭环。本发明解决了现有技术中实时性与一致性难以平衡、系统复杂度高的问题。