数据处理方法、装置、设备及可读存储介质

AITNT
正文
推荐专利
数据处理方法、装置、设备及可读存储介质
申请号:CN202411598030
申请日期:2024-11-11
公开号:CN119149241B
公开日期:2025-03-11
类型:发明专利
摘要
本申请公开了一种数据处理方法、装置、设备及可读存储介质,该方法包括:获取M个初始芯片组;基于初始模型中单个网络层对应的学习参数量,对每个初始芯片组内的芯片分别进行分组,得到P个流水线并行组;基于负载均衡条件、P个流水线并行组的平均算力系数、初始模型的网络层数和P个流水线并行组分别对应的组算力系数,对P个流水线并行组进行分组组合,得到D个数据并行组以及D个数据并行组分别对应的样本输入量;D个样本输入量所指示的输入样本,用于对在对应的数据并行组上所配置的初始模型并行进行模型训练。采用本申请,可以提高混合部署的芯片集群的计算资源的利用率,以及提高模型的训练效率。
技术关键词
参数 样本 芯片 数据处理方法 计算机设备 计算机程序产品 可读存储介质 生成流水线 处理器 数据通信功能 网络接口 内存 列表 存储计算机程序 数据处理装置 生成业务 数值 存储器
系统为您推荐了相关专利信息
1
基于图算法的单据质检方法、装置、设备及介质
单据 质检方法 分配工作量 场景 风险
2
一种基于数字孪生的智能农田灌溉决策方法
数字孪生模型 农田地块 决策方法 农田环境 时序
3
页面自适应调整方法及装置、处理设备、存储介质、程序产品
强化学习模型 监测网页 计算机程序指令 存储计算机程序 数据
4
一种高质量磷硅玻璃及其制备方法
磷硅玻璃 硅片 二氧化硅膜 多晶硅厚度 混合气
5
一种铁路机房设备健康度预测模型的训练方法、装置、设备及介质
设备运行参数 灰狼优化算法 超参数 时序 铁路机房
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号