摘要
本方案公开了一种针对支持算子层面操作的AI芯片的自动量化部署方法及系统,包括,对中间格式的待部署模型进行自动量化和部署:生成包含NHNN框架和NHNN权重的NHNN模型;根据NHNN框架中记录的信息构建目标芯片的嵌入式系统所能识别的模型,并将量化后的NHNN权重导入至目标板卡,完成模型部署。本方案可将其他任意框架下的AI模型事先通过一般方式转换为中间格式,然后根据中间格式生成待部署模型的NHNN模型,如此,只需要根据NHNN框架构建目标芯片能够识别的模型,连同NHNN权重导入即可完成部署,能够简化开发人员向HC3080等此类芯片部署AI模型的成本,简化开发流程。
技术关键词
芯片
动态库文件
嵌入式系统
框架
格式
简化开发人员
策略生成方法
板卡
多核并行
数据
输出特征
核心
节点
模块
参数
尺寸