预训练数据集构建方法、训练方法、设备、介质及产品

本发明公开了预训练数据集构建方法、训练方法、设备、介质及产品，涉及计算机模型训练技术领域。所述构建方法包括获取原始中文文本数据；对所述原始中文文本数据进行清洗处理，得到中文文本语料集；利用开源大语言模型对中文文本语料集中的部分文本进行质量评分标注，得到带标签的样本；利用带标签的样本对分类器进行训练，得到高质量分类器；利用高质量分类器对所述中文文本语料集进行质量分类，得到高质量的中文文本预训练数据集。本发明大幅提高了中文数据的整体质量，进而为高性能中文大语言模型的训练提供了数据基础。