摘要
本发明涉及一种面向存算一体忆阻器芯片友好部署的网络模型压缩方法,包括:获取输入数据并进行预处理,获取体素特征集;构建教师模型和学生模型,其中教师模型为原始目标网络模型,学生模型为对原始目标网络模型进行等比例裁剪后的模型;基于体素特征集对教师模型进行训练,提取稠密体素特征并输出第一预测结果;基于体素特征集对学生模型进行训练,提取稀疏体素特征并输出第二预测结果,其中提取稀疏体素特征基于从稠密体素特征中选取出的目标体素特征指导进行,第二预测结果通过学习第一预测结果并结合稀疏体素特征得到;基于第一预测结果和第二预测结果进行损失计算和梯度反向传播,获取训练完成后的学生模型,完成原始目标网络模型压缩。
技术关键词
网络模型压缩方法
忆阻器芯片
学生
教师
编码模块
多层感知机
特征值
蒸馏
网格
数据
度量
焦点
通道