一种基于分层混合并行的云边端异构资源协同训练策略

一种基于分层混合并行的云边端异构资源协同训练策略，研究跨域分布式计算框架如何充分地利用多样云边端异构计算资源的问题，研究设备图与计算图构建机制，构建精简、合并后的计算图和设备图，缩小分层混合并行策略的搜索空间；研究分层混合并行算法的搜索算法，通过动态规划算法和资源约束机制搜索可能的分层混合并行算法，实现云边端协同跨域场景下的高效分层混合并行；研究运行时跨域分层混合并行优化策略，通过计算簇内数据负载和计算负载的二次均衡分配，调整各个节点间的计算速度，规避运行时慢节点的出现。通过上述机制，实现云边异构计算资源和混合并行策略的高效适配，提升云边异构计算资源的利用效率，提升模型跨域分布式训练速度。