摘要
本申请公开了一种文旅大数据平台的实时数据处理方法、系统、设备及介质,主要涉及实时数据处理技术领域,用以解决现有方案难以做到实时性与准确性的平衡、缺乏深度学习与智能分析的能力,难以挖掘数据背后的深层规律与潜在价值的问题。包括:利用分体层数据仓库的DWD层中的预设清洗算法,去除原始用户行为日志和购票业务数据中的无意义数据;利用分体层数据仓库的DIM层中的预设需求获取界面,获取查询条件和关联操作接口名称,从DWD层中的用户行为日志和购票业务数据中抽取符合预设查询条件的数据;利用分体层数据仓库的DM层,调用关联操作接口对应的操作程序,将符合预设查询条件的数据输入操作程序,获得结果数据。
技术关键词
实时数据处理方法
数据平台
实时数据处理系统
日志
清洗算法
结构化业务数据
Kafka集群
页面埋点
票务系统
时间段
异常数据
实时数据处理技术
非易失性计算机存储介质
接口
关系
标识
系统为您推荐了相关专利信息
修复方法
漏洞
配置管理工具
网络设备端
计算机学习算法
牵引机
XGBoost算法
数据平台
牵引系统
实时监测数据
交互服务系统
生成神经网络模型
多层感知机
接口模块
日志
画像
内容推送方法
内容推送系统
加密数据
长短期记忆单元
告警规则
告警系统
多租户
数据库表结构
数据收集模块