一种大模型训练数据过滤方法、装置、设备及介质

本发明涉及一种大模型训练数据过滤方法、装置、设备及介质，属于数据压缩技术领域，解决了现有技术中数据过滤存在计算成本高的问题。本发明技术方案主要包括：S1、获取原始训练数据集，将所述原始训练数据集中的样本转化为嵌入向量；S2、对所有嵌入向量执行k最近邻搜索，以构建原始训练数据集的k最近邻图；S3、自所述k近邻图中选取子集，以所述子集包含的样本作为过滤后的训练数据集，选取子图的方法包括：S31、计算所有未加入子集的节点各自的多样化代表性得分；S32、选取所述多样化代表性得分最高的节点加入所述子集；S33、重复执行步骤S31‑S32，直到所述子集中的节点数量到达预设值。