摘要
本公开是关于一种基于大语言模型的数据清洗方法、装置、产品及介质,涉及数据处理领域,用于解决数据清洗过程人工参与程度大的问题。方法包括:响应于基于大语言模型第i次对待清洗数据进行清洗,基于第一规则数据匹配对微调大语言模型;基于微调后的大语言模型生成匹配当前待清洗数据的清洗规则;对当前待清洗数据进行数据清洗,得到清洗后的数据,其中,第一规则数据匹配对基于第j次清洗后数据和对应的待清洗数据以及第j次清洗的清洗规则合集确定,第j次清洗的清洗规则合集中包括基于第j次清洗后数据和对应的待清洗数据所确定的清洗规则,i、j为正整数,i大于或等于j。通过本公开所提出的方法,可以提升数据清洗效率。
技术关键词
大语言模型
清洗规则
数据清洗方法
数据清洗装置
数据清洗效率
清洗单元
处理单元
处理器
计算机程序产品
指令
语义
色彩
文本
终端
介质
存储器
系统为您推荐了相关专利信息
虚假评论检测方法
大语言模型
文本
电商
主题分布特征
大语言模型
推荐系统
编码向量
纠偏方法
混合专家网络