大模型数据筛选方法、设备和存储介质

本发明涉及模型数据处理领域，公开了一种大模型数据筛选方法、设备和存储介质，该方法包括：获取各待筛选数据，针对每条待筛选数据，确定至少一个对应的质量评估指标，并根据各待筛选数据的各质量评估指标，确定各第一过滤数据；将各第一过滤数据输入至预先确定的专业性评估大语言模型中，确定各第一过滤数据对应的专业评估指标，并根据各第一过滤数据的专业评估指标，确定各第二过滤数据；对各第二过滤数据进行聚类分析，确定类别数据标准差，并根据所述类别数据标准差，对各第二过滤数据进行均衡处理，得到用于大模型微调的专业数据。通过本发明的技术方案，实现了为模型微调提供高质量的数据的效果，显著提升了数据处理效率。