摘要
本发明公开了一种基于通道注意力和自适应学习的模型剪枝方法,该方法首先引入通道注意力机制SENet,将其加入到目标模型每一个卷积层后,并训练至模型收敛;然后,提取训练样本的SENet的中间输出并结合BN层中缩放因子,得到通道重要性分数,接着根据通道重要性分数进行剪枝;最后利用自适应学习损失函数训练剪枝后的模型至收敛。本发明充分运用模型剪枝原理和通道注意力原理,实现遥感领域的高精度模型剪枝方法。该方法能够在保持模型精度甚至超越剪枝前模型精度的同时,大幅减少计算资源的消耗,提高处理效率,降低硬件成本。
技术关键词
模型剪枝方法
遥感图像分类
随机梯度下降
传播算法
图像分类模型
训练集
通道注意力机制
更新模型参数
样本
因子
代表
预测误差
标签
特征值
系统为您推荐了相关专利信息
多头注意力机制
路径规划系统
深度强化学习
节点
强化学习框架
激光
引入注意力机制
神经网络架构
变量
动态权重分配
神经网络模型
数据
神经网络参数
随机梯度下降
结构方程模型
融合特征
特征融合网络
节点特征
注意力
训练样本图像
钢管混凝土构件
训练神经网络模型
复合材料弹性模量
参数
三维模型