摘要
本发明实施例提供了一种模型微调数据集的处理方法、装置、电子设备及可读介质。所述方法包括:获取模型微调数据集;模型微调数据集包括若干子数据集,子数据集中包括至少两种类型的训练样本;针对任一子数据集,采用子数据集对预设的模型进行预设步数的迭代训练,得到不同步数训练的中间模型;基于子数据集以及子数据集对应的中间模型,确定子数据集对应的目标训练步数;若模型微调数据集中的子数据集对应的目标训练步数的差值不大于预设阈值,将模型微调数据集作为目标模型微调数据集。通过将数据集划分为不同的子数据集,调整不同的子数据集在接近的训练步数下完成模型的训练,由此,可以使得模型在不同类型的任务下都可以具有较好的表现。
技术关键词
数据
预训练模型
通信接口
电子设备
处理器
存储器
介质
模块
训练集
聚类
计算机
程序
指令