基于分布的预训练数据自动筛选方法及电子设备

本申请公开了基于分布的预训练数据自动筛选方法及电子设备，属于大模型技术领域；该方法包括：利用数据输入模块接收原始数据集，其中，所述原始数据集中的数据有多种格式；利用第一算法将所述原始数据集中的数据转化为原始特征分布；其中，所述第一算法包括哈希算法和n‑gram算法；获取目标任务对应的参考数据集，构建与所述参考数据集对应的目标任务分布；基于所述目标任务分布和所述原始特征分布，计算所述原始特征分布中每条数据的余弦相似度；基于所述余弦相似度确定目标数据集。本申请能自动完成原始数据集的筛选，降低了成本，实现了高效准确筛选数据且适应能力强的技术效果。