一种支持高效处理多租户异构数据的微调方法及系统

本发明公开了一种支持高效处理多租户异构数据的微调方法及系统，所述方法包括：获取集群GPU总数、并行策略集合、多租户微调请求提交的数据集以及多租户要微调的给定模型；计算数据集分布中第j个分桶的数据占比fj，并基于集群GPU总数、数据集分布中第j个分桶的数据占比fj以及并行策略集合，求解每种并行策略的最优副本数量之后，生成异构模型部署方案；对于从数据集随机采样的训练数据，根据该训练数据的序列长度分布调整分桶的边界，并基于并行策略集合和最优副本数量，生成训练数据在不同并行策略上的分配方案；在分配方案的基础上，基于异构模型部署方案完成给定模型的本轮迭代微调。本发明能够有效解决多租户异构数据为高效微调带来的问题。