一种基于云边端跨域数据的专家网络自动混合分布式算法

一种基于云边端跨域数据的专家网络自动混合分布式算法，属于大模型分布式训练领域。本发明在大模型分布式训练领域引入了一种创新的方法，用OSDP分布式训练MOE模型，用于优化不同专家在GPU集群中的分布，确保更高的并行计算效率。这种组合动机是为了在不牺牲模型性能的情况下，提升训练效率。通过混合并行加速训练和节约硬件资源，降低大规模模型的训练成本，使得训练超大规模的深度学习模型变得更加经济可行。并且通过引入基于专家网络的自动混合分布式算法，实现了云、边、端协同的跨域异构数据融合，能满足工业智能领域在多基地、多数据源环境下的复杂需求。