一种可用于异构集群的大模型自适应并行训练方法

本发明公开了一种可用于异构集群的大模型自适应并行训练方法，涉及并行计算技术领域，本技术方案解决了资源利用不均和效率低下的问题；通过动态计算数据并行值和张量并行配置，自动调整模型层与硬件的分配，优化设备间性能匹配和协同工作，提高资源利用率并消除性能瓶颈；同时，该方法通过实时监测和动态调整存储需求匹配指数Cpp和处理时长Csc，最优化利用每个设备的显存和计算能力，解决显存空间限制问题；此外，本方案还包括持续监测实时性能数据并动态调整流水线并行中的参数，如数据传输速度和计算任务重新分配，提高了训练的灵活性和效率，确保并行训练配置始终适应当前集群的实际运行状况。