语料清洗方法、系统、介质及终端

AITNT
正文
推荐专利
语料清洗方法、系统、介质及终端
申请号:CN202510758301
申请日期:2025-06-09
公开号:CN120278142B
公开日期:2025-08-22
类型:发明专利
摘要
本发明提供一种语料清洗方法、系统、介质及终端,所述方法包括:获取待清洗的原始语料,对所述原始语料进行预标注处理以生成预标注语料,对所述预标注语料进行解析以生成第一解析信息;对所述原始语料进行语料优化以得到优化语料,对所述优化语料进行解析以生成第二解析信息;对所述原始语料进行增强处理以得到增强语料,对所述增强语料进行解析以生成第三解析信息;根据第一解析信息、第二解析信息和第三解析信息生成目标解析信息,根据目标解析信息生成对应的合成语料;根据脱敏库对所述合成语料进行脱敏处理以生成对应的脱敏语料,对所述脱敏语料进行标准化处理后生成对应的目标语料。本发明有效提高了语料的清洗效率和质量。
技术关键词
语料清洗方法 树状结构 解析工具 备份 字段 存储计算机程序 哈希算法 清洗系统 终端 多语言 存储器 处理器 模块 语义 标识 网址 介质 字符 符号 加密
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号