摘要
本发明涉及一种基于绿色分布式算力中心的大模型训练方法及系统,属于大模型训练技术领域。其中,该方法包括:获取待训练大模型结构数据,基于待训练大模型结构数据构建模型依赖图,并通过模型拆分策略对待训练大模型结构数据进行拆分得到封装子模块;构建绿色分布式算力中心模型,并获取节点信息,基于绿色分布式算力中心模型和节点信息通过动态拓扑映射策略构建封装子模块的训练拓扑;通过在训练拓扑上进行绿色分布式调度训练封装子模块实现大模型训练。实现了基于绿色分布式算力中心的大模型训练。
技术关键词
模型训练方法
子模块
节点
分布式协同
全局通信
策略
模型训练技术
数据
梯度算法
映射算法
资源
输入接口
度量
定义
关系
能耗
矩阵
表达式
动态