针对异构GPU显卡的大语言模型分布式流水并行微调方法

本发明属于自然语言处理技术领域，公开了一种针对异构GPU显卡的大语言模型分布式流水并行微调方法，基于多任务微调系统同时对多个LoRA模型实现微调；每个LoRA模型切分为多个部分，分布在相应数量的GPU上，并对GPU进行排序；依据用户请求，通过任务配置模块生成多个任务，并将每个任务划分为若干训练批次；按照每个任务的训练批次顺序，通过任务动态调度器结合动态调度策略生成调度方案；按照GPU正序，将调度方案发送给相应GPU上的多任务训练模块，对所有LoRA模型进行训练。本发明采用精细的模型切分和分配策略、流水线优化路径和任务负载平衡策略，能够更有效地利用多机多卡环境的计算资源，提高微调过程的整体效率，减少资源的浪费。