摘要
本发明公开一种基于大模型的数据质量检测方法及系统。所述基于大模型的数据质量检测方法,包括以下步骤:S1:获取待检测数据;S2:对所述待检测数据进行预处理,提取数据特征;并将数据分为训练集、验证集和测试集,为后续模型训练做好准备;S3:选择适合的数据质量检测任务的大模型进行预训练;在训练集上对选定的大模型进行微调,以适应特定的数据质量检测需求;S4:利用微调后的大模型对待检测的数据根据所述数据特征和预设的质量检测规则,对所述数据质量进行检测;S5:将检测结果与人工审核结果进行对比,评估大模型的准确性和有效性。本发明能够实现高效、智能的数据质量检测,降低人工成本,提升数据处理效率。
技术关键词
数据格式
时间序列特征
训练集
统计方法
数据分布
预训练模型
文本
数据一致性校验
自然语言信息
数据采集策略
闭环反馈机制
有效性
监督学习模型
正则化策略
数据输入模块
数值
一致性检测
去重算法
系统为您推荐了相关专利信息
数据分类系统
萤火虫算法
时间序列特征
特征提取模块
分类器
动作识别方法
特征提取器
样本
多尺度
特征提取模块
物流运输管理系统
智能算法优化
模拟退火算法
监测单元
多元线性回归算法
迁移学习模型
多层感知机
混凝土抗压强度
随机梯度下降
参数