一种基于绿色分布式算力中心的大模型训练方法及系统

AITNT
正文
推荐专利
一种基于绿色分布式算力中心的大模型训练方法及系统
申请号:CN202510947761
申请日期:2025-07-10
公开号:CN120450088B
公开日期:2025-09-19
类型:发明专利
摘要
本发明涉及一种基于绿色分布式算力中心的大模型训练方法及系统,属于大模型训练技术领域。其中,该方法包括:获取待训练大模型结构数据,基于待训练大模型结构数据构建模型依赖图,并通过模型拆分策略对待训练大模型结构数据进行拆分得到封装子模块;构建绿色分布式算力中心模型,并获取节点信息,基于绿色分布式算力中心模型和节点信息通过动态拓扑映射策略构建封装子模块的训练拓扑;通过在训练拓扑上进行绿色分布式调度训练封装子模块实现大模型训练。实现了基于绿色分布式算力中心的大模型训练。
技术关键词
模型训练方法 子模块 节点 分布式协同 全局通信 策略 模型训练技术 数据 梯度算法 映射算法 资源 输入接口 度量 定义 关系 能耗 矩阵 表达式 动态
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号