摘要
本发明涉及智能计算中心、智算中心及算力基础设施技术领域,提供基于智能计算中心的算力进行分布式强化学习训练的方法,方法包括:获取训练数据;将训练数据输入至待训练大模型中,基于训练数据和群体相对策略优化算法,对待训练大模型进行分布式强化学习训练,得到训练结果;其中,分布式强化学习训练中的模型参数更新过程和样本生成过程,均基于多个GPU并行进行。由此,在智能计算中心的算力资源的加持下,通过群体相对策略优化算法和多GPU分布式并行计算,在模型参数量较大时也能够启动训练,可大幅度加速大模型的训练过程,显著提高大模型的训练效率,显著提升大模型的性能。
技术关键词
分布式强化学习
GPU并行
计算中心
分布式并行计算
基础设施技术
数据
策略
参数
样本
算法
处理器
可读存储介质
计算机程序产品
存储器
指令
服务器
模块
资源
系统为您推荐了相关专利信息
焊锡缺陷检测方法
定位PCB板
3D点云数据
图像处理
3D点云图像
开集识别方法
射频指纹特征提取
识别发射机
样本
特征提取网络
GPU并行计算
检测点
像素
同步机构
双三次插值
红绿灯识别方法
车辆运动轨迹
强化学习框架
人工智能技术
环境光照条件