摘要
本发明公开了基于预训练模型的数据质量检测方法及系统,属于数据管理技术领域,要解决的技术问题为:如何利用智能化手段结合机器学习和深度学习模型、自动化检测和修复数据质量。包括:获取待处理的数据集,并对数据集进行数据清洗和特征提取,得到预处理后的数据集;以预处理后的数据集为输入,通过预训练模型对数据集进行异常检测,输出异常类型;根据异常类型生成修复规则,根据数据类型和业务需求对修改规则进行修复,并对调整后的修复规则进行验证;根据异常类型和调整后的修复规则生成异常检测报告,并按照预定格式输出异常检测报告。
技术关键词
预训练模型
报告
异常检测方法
数据管理技术
模块
数据项
格式化
深度学习模型
文本
数值
有效性
编码器
语义
逻辑
关系