摘要
本发明提供一种基于网络稀疏程度和硬件约束的自适应剪枝方法,本发明通过将正则化项引入卷积神经网络的总损失函数中,使得在训练过程中自适应调整每一层的剪枝率;在执行剪枝过程中,依据卷积核的L2范数值对卷积核进行排序;并构建卷积核的二维掩码mask,然后根据预设的剪枝比例计算L2范数阈值,并将L2范数值小于L2范数阈值的卷积核的剪掉;在推理过程中,通过动态规划与递归搜索的分层优化策略对剪枝生成的不规则稀疏数据进行动态分块处理。本发明能够在不同训练阶段根据任务需求自动调整剪枝率,有效避免了过度剪枝或剪枝不足的问题,提升了网络的稀疏性并显著降低了硬件计算复杂度,同时保持了任务的性能。
技术关键词
剪枝方法
动态规划算法
网络
通道
分块策略
输出特征
硬件加速器
正则化参数
预训练模型
数值
阵列
分层
数据
复杂度
系统为您推荐了相关专利信息
智能机器人
分布式优化方法
反馈滤波器
重构系统
多智能体模型
状态监测方法
功率
光伏板
神经网络模型构建
曲线
深度学习技术
局部空间特征
联合特征提取
时序特征
隧道
滚动轴承故障
检测控制装置
数据采集装置
施力装置
检测设备