摘要
本发明提出了一种全自动多视角表格数据异常检测方法及其系统,属于异常数据检测技术领域,首先获取待检测的脏数据集,基于数据特征构建词向量模型,并结合TF‑IDF算法和上下文注意力机制对数据进行编码,得到数据实例的编码表示;构建第一阶段的单一视角下多组件检测模型,利用多组件对脏数据进行计算并检测,对高概率异常的数据实例进行标注;将具有语义的异常样本以及其标注作为第二阶段中多视角模型学习的标签指导,利用实例编码,通过标签扩散动态构建正负类包,执行模型训练;将多视角检测结果与定量数据监测结果进行整合,输出最终的脏数据识别结果;本发明了解决现有技术无法全面且系统性地覆盖多样化错误类型;同时无法进行可靠训练的问题。
技术关键词
数据异常检测方法
多组件
词向量模型
标签
注意力机制
多视角
检测组件
数据异常检测系统
编码模块
表格
模式检测方法
重构误差
异常数据检测
融合置信度
样本
分布直方图
系统为您推荐了相关专利信息
图像分割装置
卷积模块
图像识别方法
上采样
图像分割模型
信息抽取方法
双向长短期记忆
注意力机制
构建知识图谱
多层次
层次聚类算法
随机森林
训练集
自然语言
电子设备
视觉特征信息
结构识别方法
视觉特征提取
多模态
对齐模块
融合特征
残差注意力机制
诊疗数据
组学特征
影像