摘要
本发明属于数据处理技术领域,提供基于Excel数据建模及规则配置的数据集成方法和系统。所述方法为:配置数据集成规则,构建包含单元格级映射和行列分离映射的双模式业务数据模型库;接收远端用户通过公共邮箱或SFTP服务器发送的Excel文件,执行定时下载任务;执行ETL处理任务,通过双模式业务数据模型库将Excel文件的数据进行结构化转换后存入数据库中,并进行数据缺失值补齐;监测数据库中的数据,结合异常日志表生成数据质量异常报表,并输出相应的改正建议;对数据查询结果进行可视化展示,并对公共邮箱或SFTP服务器上超过预定期限的数据进行定时清除。本发明能够降低数据接入成本,提高数据集成效率。
技术关键词
数据集成方法
关键字
数据主体
业务数据模型
数据缺失值
日志
双模式
模型库
文件存储路径
异常信息
邮箱
列表
日期
邮件
数据集成系统
数据管理模块
自定义函数
报表
数据处理技术
系统为您推荐了相关专利信息
时钟
系统级芯片
UVM验证平台
SystemVerilog语言
验证系统
信息识别方法
自然语言
金融
需求格式化输出
短语结构
RESTful接口
条目
知识集成方法
验证用户身份
HTTP请求