大模型优化方法、装置、设备及存储介质

本申请涉及大语言模型技术领域，公开了一种大模型优化方法、装置、设备及存储介质，该方法包括：获取采样语料集合；基于数据相似度对采样语料集合中的语料样本进行数据压缩，得到数据集；基于所述数据集对大模型进行训练，得到优化后的大语言模型。本申请通过根据数据相似度进行数据压缩去除大语言模型训练数据中的冗余数据，有效提高了数据质量，进而通过压缩后的数据进行模型训练，有效提高了模型训练效率和模型性能。