一种动静态合并的算子调度与高低位扫描轻量化加速方法

AITNT
正文
推荐专利
一种动静态合并的算子调度与高低位扫描轻量化加速方法
申请号:CN202510912304
申请日期:2025-07-03
公开号:CN120430354B
公开日期:2025-08-26
类型:发明专利
摘要
本发明涉及深度学习模型优化技术领域,尤其涉及一种动静态合并的算子调度与高低位扫描轻量化加速方法,包括建立形状通用空间S并划分为多个相同的分块;将实际shape映射至形状通用空间后调度shape算子进行计算;根据实际shape映射结果构建成本模型,用于平衡微内核性能、硬件内核占用惩罚与shape填充惩罚间的最优成本;根据实际shape和成本模型分配最优微内核;对深度神经网络模型的参数的高位和低位进行扫描量化,并使用层级量化敏感度调整参数精度;有效提升模型在低精度下的稳定性与推理性能。
技术关键词
深度神经网络模型 分块 动静态 深度学习模型优化 内核 平铺 精度 比特数 层级 超参数 符号 数据 变量 理论 矩阵 代表 动态
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号