一种适配多种异构数据库的数据变更内容采集方法

AITNT
正文
推荐专利
一种适配多种异构数据库的数据变更内容采集方法
申请号:CN202411506106
申请日期:2024-10-28
公开号:CN119513114B
公开日期:2025-10-31
类型:发明专利
摘要
本发明涉及数据处理技术领域,尤其是一种适配多种异构数据库的数据变更内容采集方法,包括下述步骤:在变更监听平台配置业务服务的监听信息,对所述业务服务注入组件,以向所述监听平台请求拉取所述监听信息的配置,且对异步采集任务进行初始化;所述组件通过JAR包文件的插件,监听数据库变更,所述数据库的日志数据存在变更时,所述插件通过消息中间件Rabbit MQ上报所述日志数据;所述变更监听平台通过拉模式进行消息的消费,以在对应的ElasticSearch及对应的Hadoop HDFS索引中进行写入变更数据;对数据进行冷热转换。本发明能够进行数据的无缝采集和传输,同时保证了变更采集的实时性、可靠性、幂等性,而且节省数据存储的运维成本。
技术关键词
内容采集方法 冷热转换 LRU算法 日志 异构 加密策略 插件 平台 数据项 数据处理技术 加密方法 索引 数据访问 消息 字段 数据存储 列表
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号