一种基于通道注意力和自适应学习的模型剪枝方法

AITNT
正文
推荐专利
一种基于通道注意力和自适应学习的模型剪枝方法
申请号:CN202411570310
申请日期:2024-11-06
公开号:CN119443185A
公开日期:2025-02-14
类型:发明专利
摘要
本发明公开了一种基于通道注意力和自适应学习的模型剪枝方法,该方法首先引入通道注意力机制SENet,将其加入到目标模型每一个卷积层后,并训练至模型收敛;然后,提取训练样本的SENet的中间输出并结合BN层中缩放因子,得到通道重要性分数,接着根据通道重要性分数进行剪枝;最后利用自适应学习损失函数训练剪枝后的模型至收敛。本发明充分运用模型剪枝原理和通道注意力原理,实现遥感领域的高精度模型剪枝方法。该方法能够在保持模型精度甚至超越剪枝前模型精度的同时,大幅减少计算资源的消耗,提高处理效率,降低硬件成本。
技术关键词
模型剪枝方法 遥感图像分类 随机梯度下降 传播算法 图像分类模型 训练集 通道注意力机制 更新模型参数 样本 因子 代表 预测误差 标签 特征值
系统为您推荐了相关专利信息
1
基于多头注意力机制的深度强化学习路径规划系统
多头注意力机制 路径规划系统 深度强化学习 节点 强化学习框架
2
一种激光熔覆效果评估方法、设备及介质
激光 引入注意力机制 神经网络架构 变量 动态权重分配
3
基于人工智能技术构建植物营养专家知识图谱的应用方法
神经网络模型 数据 神经网络参数 随机梯度下降 结构方程模型
4
一种基于图注意力融合网络的目标追踪方法
融合特征 特征融合网络 节点特征 注意力 训练样本图像
5
一种预测碳纤维增强复合材料加固钢管混凝土构件受弯性能的方法与系统
钢管混凝土构件 训练神经网络模型 复合材料弹性模量 参数 三维模型
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号