基于大模型的训练语料质量评估方法、装置、设备及存储介质

本申请公开了一种基于大模型的训练语料质量评估方法、装置、设备及存储介质，应用于包括数据集加载中心、文件预处理中心、文件预检中心与文件质检中心的评估系统架构，涉及人工智能技术领域，包括：基于预设质检模式在预设文件数据库中加载待质检数据集目录，并基于预设文件路径查询待质检数据集目录中的数据文件；处理各数据文件，得到待处理文件，并将各待处理文件封装为文件列表；对文件列表中的各待处理文件进行预过滤，并判断待处理文件是否需要进行格式转换，若需要，则转化待处理文件格式，得到待质检文件；利用文件质检器对待质检文件进行文件质检，得到质检结果，以评估质检结果，得到评估结果。这样能够提高质量评估训练语料的速度。