摘要
本发明提出一种智能数据质量监控方法和系统,该方法包括:利用统一数据模型对多源异构数据进行数据处理;将历史数据作为训练集输入至预训练模型进行训练优化,得到优化好的预训练模型,对标准化分发数据流利用优化好的预训练模型结合自适应阈值模块进行阈值判定;将处理后的异常事件列表输入至上下文感知与动态优先级管理模块中进行去重优化传输;对去重优化后的异常事件列表利用根源分析工具进行根源分析;对根源分析结果利用修复建议引擎辅助生成修复策略;将修复策略与可视化报告输入至跨平台监控界面,生成修复建议和预警通知。本发明通过基于图数据库构建数据血缘图谱,实现异常事件的分钟级溯源,故障排查时间缩短50%。
技术关键词
异常事件
动态优先级管理
列表
统一数据模型
跨平台监控
监控方法
动态权重分配
多源异构数据融合
策略
动态权重优化
贝叶斯网络模型
分析工具
局部敏感哈希
实时数据
构建规则库
多模型
神经网络算法
模块