摘要
本发明公开了一种系统回流数据处理方法及装置,可用于金融领域和数据处理技术领域,该方法包括:根据目标系统的数据增量特征,计算数据增量抓取频率;抓取目标系统于不同预设时间段内的增量数据,并提取待同步数据;基于建立的目标系统和源系统之间的字段映射关系、码值映射关系和键值映射关系,以及目标系统和源系统的表结构信息,根据所述待同步数据,生成对应不同时间戳标识的中间表数据;基于优先级调度算法,动态生成不同的中间表数据的处理顺序;通过串行处理方式,以动态生成的处理顺序,执行不同的中间表数据向源系统的数据插入操作。本发明用以提升系统回流数据处理的时效性和处理效率,降低系统回流数据处理的处理压力。
技术关键词
抓取频率
优先级调度算法
时间段
NoSQL数据库
标识
关系
键值
数据处理方法
动态
生成事件
映射配置文件
计算机程序产品
数据处理框架
特征选择算法
字段
日志
处理器
可读存储介质
扫描工具
系统为您推荐了相关专利信息
智能管理系统
元数据管理模块
风险
财务
沙箱环境
无人机多光谱遥感
参数监测方法
甘薯
监测系统
时间段
设备状态预测
电力设备运维方法
特征提取模型
计算机程序产品
计算机设备
智能评估方法
机器人
业务流程模板
交互特征
节点