一种清洗大语言模型训练图片的方法及系统

本发明涉及大语言模型技术领域，具体为一种清洗大语言模型训练图片的方法及系统，包括自动检查并删除损坏图像，加载并处理图像以删除模糊图像，并行处理任务且采用流式处理，删除重复图像，最终验证与存储；有益效果为：实现图像数据的自动化清洗，减少人工干预，提高处理效率。通过去噪、去模糊、格式统一等操作，显著提高图像质量，增强模型训练效果。提高算力资源利用率，避免因低质量数据导致的资源浪费。适用于多种大语言模型训练场景，可根据需求灵活调整参数和流程。