摘要
本发明提供一种模型训练方法、装置、电子设备和存储介质,该方法包括:获取模型的前向传播结果;基于所述前向传播结果,对所述模型逐层进行反向传播,并在每次得到所述模型中一层的反向传播结果的情况下,将所述反向传播结果发送至主机;接收所述主机返回的所述反向传播结果所对应层的更新参数。本发明提供的方法、装置、电子设备和存储介质,对模型逐层进行反向传播,并在每次得到模型中一层的反向传播结果时,将反向传播结果发送给主机进行参数更新,由此实现了设备处的反向传播与主机处的参数更新的时间复用,即,模型训练中的反向传播与参数更新可以在设备和主机处并行执行,由此在节省了设备处的显存的同时,大大提升了模型训练效率。
技术关键词
模型训练方法
主机
非暂态计算机可读存储介质
参数
电子设备
处理器
计算机程序产品
优化器
存储器
系统为您推荐了相关专利信息
AI图像识别
磁粉检测方法
水电设备
神经网络模型
磁粉检测系统
布鲁氏菌病
动力学模型构建方法
多宿主
平衡特征
参数