摘要
本申请公开了一种数据处理方法、装置、设备及可读存储介质,该方法包括:获取M个初始芯片组;基于初始模型中单个网络层对应的学习参数量,对每个初始芯片组内的芯片分别进行分组,得到P个流水线并行组;基于负载均衡条件、P个流水线并行组的平均算力系数、初始模型的网络层数和P个流水线并行组分别对应的组算力系数,对P个流水线并行组进行分组组合,得到D个数据并行组以及D个数据并行组分别对应的样本输入量;D个样本输入量所指示的输入样本,用于对在对应的数据并行组上所配置的初始模型并行进行模型训练。采用本申请,可以提高混合部署的芯片集群的计算资源的利用率,以及提高模型的训练效率。
技术关键词
参数
样本
芯片
数据处理方法
计算机设备
计算机程序产品
可读存储介质
生成流水线
处理器
数据通信功能
网络接口
内存
列表
存储计算机程序
数据处理装置
生成业务
数值
存储器
系统为您推荐了相关专利信息
强化学习模型
监测网页
计算机程序指令
存储计算机程序
数据
设备运行参数
灰狼优化算法
超参数
时序
铁路机房