摘要
本发明涉及数据同步技术领域,提供一种基于SQL合并的增量数据同步方法和系统及设备,包括:从源库采集增量DML数据,判断采集的增量DML数据是否为事务结束数据;当增量DML数据为事务未结束数据,为满足合并条件的增量DML数据构建trie字典树,将不满足合并条件的增量DML数据写入目标库;当增量DML数据为事务结束数据,判断构建的trie字典树是否为空,在提交事务至目标库前,根据不为空的trie字典树构建语义级的delete SQL写入目标库中。本发明基于SQL合并的增量数据同步方法和系统及设备,可以显著提高处理大规模事务场景下的数据同步速度,特别是在批量数据同步方面,降低目标端与源端的数据延迟,保证事务提交的顺序和完整性。
技术关键词
增量数据同步方法
字典树
队列
语义
数据同步技术
数据同步系统
字段
计算机设备
键值
事务提交
批量数据
服务端
处理器
日志
存储器
场景
程序
系统为您推荐了相关专利信息
语义分割方法
融合图像信息
解码器结构
图片
卷积模块
存储器控制器
逻辑
存储设备
管理数据完整性
非易失性存储器
建筑安全监测方法
钢筋
语义特征
融合特征
多尺度特征提取