一种大模型数据集构建方法、装置、电子设备及存储介质

本申请实施例公开了一种大模型数据集构建方法、装置、电子设备及存储介质，属于大模型技术领域，包括：获取用于大模型训练的文本数据集，对文本数据集进行预处理得到多个长文本，对长文本进行拆分处理和向量化处理，得到拆分文本和对应的文本向量，通过局部敏感哈希算法，将满足预设相似条件的文本向量映射到同一个哈希桶中，对每个哈希桶中的文本向量进行相似度计算，得到每两个拆分文本之间的相似度值，根据哈希桶中的拆分文本和拆分文本之间的相似度值，构建文本相似图，在文本相似图中基于拆分文本之间的相似度值，选取预设比例的拆分文本作为重要文本，计算重要文本的重要性分数，根据重要性分数确定目标数据集，能够识别出高价值的数据。