摘要
本申请涉及一种基于深度学习的跨源数据质量缺陷检测方法及系统,涉及数据处理的技术领域,其方法包括:使用构建好的扫描模型对跨源数据集进行扫描;扫描模型在扫描过程中对跨源数据集中数据进行监测与分析;在跨源数据存在质量缺陷时,扫描模型输出的扫描结果包含数据质量问题;根据扫描模型的扫描结果将数据质量问题进行分类并将同一类型的数据质量问题进行汇总;根据分类及汇总的结果,基于预设模板生成数据质量问题报告;将存在质量缺陷的跨源数据输入至数据修复模型中;数据修复模型对存在缺陷的跨源数据进行修复并输出修复后的跨源数据。本申请具有减少因跨源数据质量问题导致的决策失误的效果。
技术关键词
数据
缺陷检测方法
前馈神经网络
预训练语言模型
编码器
文本段落
样本
注意力
缺陷检测系统
标记
生成方法
序列
语义
非线性
报告
分词
模板
系统为您推荐了相关专利信息
收集日志数据
数据分析算法
智能日志
网络设备
噪声数据
文本数据处理方法
条目
文本数据处理系统
数学
自然语言
网络安全威胁
网络流量数据建模
监测方法
人工智能模型
重构误差
物联网设备
数据管理方法
数据管理设备
接口
非易失性计算机存储介质
手势识别方法
编码器模块
卷积模块
可变形卷积层
分类器