一种大语言模型预训练低质量数据评估方法

本发明涉及一种大语言模型预训练低质量数据评估方法，方法包括以下步骤：获取待评估数据，得到采样样本；采用大语言模型对采样样本进行打分，进行一定比例采样，对采样后的数据进行人工标注，得到低质量数据指标；先根据启发式指标对待评估数据进行评估，采用对应的启发式规则得到启发规则评分，分为初步低质量数据和初步高质量数据，并得到初步低质量数据占比；然后根据非启发式指标对初步高质量数据进行评估，基于对大语言模型定义的维度将初步高质量数据分为最终低质量数据和最终高质量数据，计算低质量数据在待评估数据中的总占比。与现有技术相比，本发明具有高效且准确分析大语言模型数据中低质量数据等优点。