一种基于端系统硬件性能的模型轻量化部署方法及装置

AITNT
正文
推荐专利
一种基于端系统硬件性能的模型轻量化部署方法及装置
申请号:CN202510763229
申请日期:2025-06-09
公开号:CN120745715A
公开日期:2025-10-03
类型:发明专利
摘要
本发明提供一种基于端系统硬件性能的模型轻量化部署方法及装置,通过静态硬件性能评估查询数据库获取最大算力、批处理量等参数,通过动态运行状态监控实时计算实际算力和内存作为压缩目标,并在硬件资源变化超阈值时触发轻量化,实现压缩策略的动态调整;轻量化过程中将硬件参数与模型特征融合为低维状态向量,输入强化学习策略网络输出剪枝率、量化位宽、蒸馏温度的协同压缩参数,最终生成自适应硬件动态环境的轻量化模型。本发明自动化压缩流程降低人工成本,确保轻量化模型精准匹配端侧硬件约束,提升推理速度并降低能耗。
技术关键词
端系统 中央处理器 内存 蒸馏 网络 图形处理器 模型压缩 训练样本集 动态运行状态 理论 强化学习策略 参数 学生 指令 分支 多层感知机 动态场景 计算机程序产品
系统为您推荐了相关专利信息
1
一种基于联合梯度下降的污水处理多水质并行智能预测方法
多任务 智能预测方法 水质 二沉池出水 数据
2
鱼类呼吸监测方法及系统
呼吸监测方法 光流场 运动特征 序列 多尺度特征金字塔
3
基于抽样检验和故障损失的机械故障诊断用神经网络模型选用决策方法
机械故障诊断 决策方法 对象 神经网络模型构建 神经网络分类
4
处理电路、操作处理电路的方法以及用于人工神经网络的系统
人工神经网络 元素 数据压缩 执行卷积运算 累加电路
5
网络中关键节点的识别方法、装置、设备及存储介质
网络节点 网络结构 识别方法 矩阵 数据
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号