摘要
本申请涉及一种文本数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。本申请能够提高文本数据清洗处理的效率,保证文本数据的准确性和安全性。方法包括:获取待清洗的各个文本数据,对各个文本数据进行去重处理及异常数据处理得到各个第一文本数据,然后对各个第一文本数据进行风险词规则过滤处理和大语言模型安全检测处理得到各个第二文本数据,最后将各个第二文本数据输入纠错大模型,由纠错大模型对各个第二文本数据进行语言表达纠错处理得到各个目标文本数据。
技术关键词
文本数据处理方法
异常数据处理
纠错
风险识别模型
文本数据处理装置
计算机设备
字符
可读存储介质
数据获取模块
计算机程序产品
编码规则
数据格式
处理器
云端
存储器