用于大模型微调训练的数据混合方法、系统及计算机设备

本发明属于数据处理技术领域。提出了一种用于大模型微调训练的数据混合方法、系统及计算机设备，根据微调数据集中的不同主题的数据混合比例、微调模型参数量和训练数据的标记单元总数进行多轮训练任务，每轮训练完成后在目标数据集测试训练后的模型损失；根据各轮训练用的数据混合比例、微调模型参数量、训练数据的标记单元总数以及模型损失，构建数据混合优化函数，以数据混合优化函数的最小值为目标，确定不同微调模型参数量以及训练数据的标记单元总数下的最优的数据混合比例；本发明避免了大量的计算资源浪费，显著缩短了模型从选型到部署的研发周期，实现微调训练性价比的最大化。