摘要
本发明提供一种语料清洗方法、系统、介质及终端,所述方法包括:获取待清洗的原始语料,对所述原始语料进行预标注处理以生成预标注语料,对所述预标注语料进行解析以生成第一解析信息;对所述原始语料进行语料优化以得到优化语料,对所述优化语料进行解析以生成第二解析信息;对所述原始语料进行增强处理以得到增强语料,对所述增强语料进行解析以生成第三解析信息;根据第一解析信息、第二解析信息和第三解析信息生成目标解析信息,根据目标解析信息生成对应的合成语料;根据脱敏库对所述合成语料进行脱敏处理以生成对应的脱敏语料,对所述脱敏语料进行标准化处理后生成对应的目标语料。本发明有效提高了语料的清洗效率和质量。
技术关键词
语料清洗方法
树状结构
解析工具
备份
字段
存储计算机程序
哈希算法
清洗系统
终端
多语言
存储器
处理器
模块
语义
标识
网址
介质
字符
符号
加密