摘要
本发明公开了一种基于深度学习的模型优化系统及方法,系统包括模型广场模块、我的模型模块、模型精调模块、模型优化模块,方法步骤为S1:选择初始模型;S2:应用优化算法;S21:应用剪枝算法,确定要移除的权重或神经元;S22:应用量化算法,将权重和激活从浮点数转换为低精度表示;S23:知识蒸馏,选择教师模型,定义学生模型,利用教师模型的输出作为指导信号来训练学生模型;S3:可选地进行微调。本发明基于前沿深度学习方法,充分利用开源技术进行改进,在基本不损失性能的情况下,达到低成本部署的目标;减小模型大小,节省存储,对于移动设备或嵌入式系统尤为重要,同时可加快传输速度和部署速度。
技术关键词
模型优化系统
模型优化方法
浮点数
教师
学生
共享文件系统
子模块
通道剪枝
剪枝策略
结构单元
算法
动态
蒸馏
参数
精度
深度学习方法
复杂度
滤波器
开源技术