摘要
本发明公开了一种计算可重用的多容量神经网络构建方法及系统,通过分析常规神经网络不能支持多容量与可重用性的原因,设计一种增量式的层间连接(IIC)来解决这一问题。为了有效地训练RMCNets,提出了包括预训练、多容量联合训练以及微调三个阶段的训练流程。在ImageNet和CIFAR‑10上的实验证实,4容量的RMCNets可以正确地执行计算重用,同时将延迟和参数减少约35%。对不同模型训练方法的实验分析表明了该训练方法的效率与性能。
技术关键词
神经网络架构
神经网络构建方法
通道
联合损失函数
标签
知识蒸馏方法
模型训练方法
电子终端
构建系统
数据
参数
处理器
可读存储介质
阶段
存储器
计算机
样本
周期
系统为您推荐了相关专利信息
断路器
新型磁控
电网分布图
线路特征
协同控制策略
道路检测方法
车辆
生成深度图像
图像采集设备
热成像模块
系统故障预测方法
故障预测模型
高速公路机电系统
神经网络算法
机器学习算法