DNN模型并行训练中细粒度资源调度方法及系统

本发明涉及深度学习模型训练优化技术领域，特别涉及一种DNN模型并行训练中细粒度资源调度方法及系统，将DNN模型转化为计算图表示并结合计算设备拓扑信息构建计算图；将DNN模型训练过程的计算阶段划分与各计算阶段到计算设备的资源映射建模为阶段划分与资源映射的组合优化问题；利用启发式算法对组合优化问题进行迭代求解，通过动态调整约束条件权重并最小化计算设备开销和负载差异来优化各计算阶段的计算设备资源映射。本发明在目标函数中综合考虑计算成本、通信开销、整体负载均衡以及求解时间，实现高效的计算资源分配和任务调度的优化，有助于提高大规模深度学习模型的训练和推理效率，在深度神经网络分布式并行训练领域具有较好的应用前景。