摘要
根据本公开的实施例,提供了模型训练方法、装置、设备和存储介质。该方法包括:利用模型训练框架的状态组件,获取一组并行配置参数以确定分布式信息;利用模型训练框架的并行化组件,基于分布式信息构建与待训练的模型对应的并行计划,并基于并行计划生成模型的并行化版本;以及利用模型训练框架的训练组件,基于并行化版本处理训练数据,以并行地调整模型的不同参数。基于这样的方式,本公开的实施例可以基于模型的并行化版本来进行分布式训练,且本公开利用模型训练框架中的各个组件可以实现解耦,且基于这些组件来进行模型训练,无需开发者深入了解底层的并行计算细节,简化了设置和管理训练过程,提高了训练的效率。
技术关键词
分布式信息
多模态
模型训练方法
框架
计算机可执行指令
计划
数据
解码器
分布式训练
编码器
图像处理单元
计算机程序产品
参数
电子设备
输出特征
融合特征
加载器
调度器
优化器