一种基于预训练模型的冗余数据处理方法及系统

本发明涉及数据处理技术领域，公开了一种基于预训练模型的冗余数据处理方法及系统，包括：根据数据类型对待处理数据集中的数据进行分类得到对应的待处理数据类型；构建提示信息预训练模型，将待处理数据集和待处理数据类型输入冗余数据预训练模型中得到特征提示信息；对特征提示信息进行评估得到评估结果，根据评估结果对特征提示信息进行进一步优化得到优化提示信息；构建冗余数据预训练模型，将待处理数据集与优化提示信息输入冗余数据预训练模型中识别符合条件的冗余数据；将符合条件的冗余数据从待处理数据集中删除得到处理后的数据集；本发明解决了现有的冗余数据处理方法存在数据处理准确性较低、数据清理效率较差的问题。