一种基于大语言模型的数据清洗方法、装置、产品及介质

AITNT
正文
推荐专利
一种基于大语言模型的数据清洗方法、装置、产品及介质
申请号:CN202410991497
申请日期:2024-07-23
公开号:CN118520229B
公开日期:2024-11-15
类型:发明专利
摘要
本公开是关于一种基于大语言模型的数据清洗方法、装置、产品及介质,涉及数据处理领域,用于解决数据清洗过程人工参与程度大的问题。方法包括:响应于基于大语言模型第i次对待清洗数据进行清洗,基于第一规则数据匹配对微调大语言模型;基于微调后的大语言模型生成匹配当前待清洗数据的清洗规则;对当前待清洗数据进行数据清洗,得到清洗后的数据,其中,第一规则数据匹配对基于第j次清洗后数据和对应的待清洗数据以及第j次清洗的清洗规则合集确定,第j次清洗的清洗规则合集中包括基于第j次清洗后数据和对应的待清洗数据所确定的清洗规则,i、j为正整数,i大于或等于j。通过本公开所提出的方法,可以提升数据清洗效率。
技术关键词
大语言模型 清洗规则 数据清洗方法 数据清洗装置 数据清洗效率 清洗单元 处理单元 处理器 计算机程序产品 指令 语义 色彩 文本 终端 介质 存储器
系统为您推荐了相关专利信息
1
基于图结构检索增强的检索方法、装置、设备及存储介质
图谱 实体 检索方法 层级 种子
2
基于大语言模型的移动电商虚假评论检测方法和系统
虚假评论检测方法 大语言模型 文本 电商 主题分布特征
3
一种基于摘要生成的长文本事件抽取方法及系统
事件抽取方法 摘要 文本 数据 大语言模型
4
一种SQL语句生成方法及装置
字段 场景 文本 语句生成方法 大语言模型
5
一种融合大语言模型世界知识的推荐系统纠偏方法
大语言模型 推荐系统 编码向量 纠偏方法 混合专家网络
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号