摘要
一种基于相似功能块划分的信号模型剪枝方法,包括以下步骤:1)获取数据集以及预训练好的模型;2)用CKA计算任意两层的相似性,然后用fisher最优分割法进行网络层划分,可以得到不同功能的网络块;3)对每个功能块中的保留哪些层进行排列组合计算出所有组合方案;4)用synflow零成本代理对每个方案进行模型性能评估,找到评分最高的那个方案,其保留层就是重要层;5)把每个功能块中的除重要层外的冗余层进行剪枝,然后匹配重要层和微调模型恢复其性能。本发明运用相似功能块划分剪枝模型,使用最优分割法和零成本代理有效地划分了功能块和减少了训练成本,使模型在不影响精度的情况下更加轻量化。
技术关键词
功能块
模型剪枝方法
深度神经网络
分割方法
神经网络模型
矩阵
剪枝模型
参数
预训练模型
定义
组合方法
算法
信号调制
元素
冗余
符号
变量
样本
系统为您推荐了相关专利信息
直流电磁泵
结构优化方法
遗传算法
磁流体动力学
过渡段长度
功率模块
历史工况数据
布局方法
工况参数
变换器
多源遥感影像
变化检测方法
样本
遥感传感器
跨模态
双臂机器人
机械臂关节
运动规划方法
节点
神经网络模型
医学图像分割方法
图像编码器
多模态医学图像
医学图像分割系统
跨模态