一种基于分区稀疏通信的云边端跨域训练高效通信技术

一种基于分区稀疏通信的云边端跨域训练高效通信技术，研究跨域分布式计算框架如何高效地实现云边端跨域节点快速通信的问题，研究反向传播稀疏化机制，通过稀疏性试探算法确定模型层的稀疏化后对模型准确率和通信的影响，从而极大的降低通信规模；研究分区分级通信调度机制，主要包含计算簇内通信调度机制和计算簇间通信调度机制。其中，计算簇内通信调度机制通过激活值和权重分离的机制，以最大化计算簇的计算‑通信重叠；计算簇间通信调度机制，解耦前向传播与反向传播，并通过自定义优化目标得到最合适的微批次调度目标。通过上述机制，有效地减小通信规模，提升计算‑通信重叠率，实现高效、快速的跨域节点通信，提升跨域分布式训练的效率。