摘要
本发明提供一种基于端系统硬件性能的模型轻量化部署方法及装置,通过静态硬件性能评估查询数据库获取最大算力、批处理量等参数,通过动态运行状态监控实时计算实际算力和内存作为压缩目标,并在硬件资源变化超阈值时触发轻量化,实现压缩策略的动态调整;轻量化过程中将硬件参数与模型特征融合为低维状态向量,输入强化学习策略网络输出剪枝率、量化位宽、蒸馏温度的协同压缩参数,最终生成自适应硬件动态环境的轻量化模型。本发明自动化压缩流程降低人工成本,确保轻量化模型精准匹配端侧硬件约束,提升推理速度并降低能耗。
技术关键词
端系统
中央处理器
内存
蒸馏
网络
图形处理器
模型压缩
训练样本集
动态运行状态
理论
强化学习策略
参数
学生
指令
分支
多层感知机
动态场景
计算机程序产品
系统为您推荐了相关专利信息
呼吸监测方法
光流场
运动特征
序列
多尺度特征金字塔
机械故障诊断
决策方法
对象
神经网络模型构建
神经网络分类
人工神经网络
元素
数据压缩
执行卷积运算
累加电路