摘要
本发明涉及数据处理技术领域,尤其是一种适配多种异构数据库的数据变更内容采集方法,包括下述步骤:在变更监听平台配置业务服务的监听信息,对所述业务服务注入组件,以向所述监听平台请求拉取所述监听信息的配置,且对异步采集任务进行初始化;所述组件通过JAR包文件的插件,监听数据库变更,所述数据库的日志数据存在变更时,所述插件通过消息中间件Rabbit MQ上报所述日志数据;所述变更监听平台通过拉模式进行消息的消费,以在对应的ElasticSearch及对应的Hadoop HDFS索引中进行写入变更数据;对数据进行冷热转换。本发明能够进行数据的无缝采集和传输,同时保证了变更采集的实时性、可靠性、幂等性,而且节省数据存储的运维成本。
技术关键词
内容采集方法
冷热转换
LRU算法
日志
异构
加密策略
插件
平台
数据项
数据处理技术
加密方法
索引
数据访问
消息
字段
数据存储
列表