针对支持算子层面操作的AI芯片的自动量化部署方法及系统

AITNT
正文
推荐专利
针对支持算子层面操作的AI芯片的自动量化部署方法及系统
申请号:CN202411075653
申请日期:2024-08-07
公开号:CN118605890B
公开日期:2024-10-25
类型:发明专利
摘要
本方案公开了一种针对支持算子层面操作的AI芯片的自动量化部署方法及系统,包括,对中间格式的待部署模型进行自动量化和部署:生成包含NHNN框架和NHNN权重的NHNN模型;根据NHNN框架中记录的信息构建目标芯片的嵌入式系统所能识别的模型,并将量化后的NHNN权重导入至目标板卡,完成模型部署。本方案可将其他任意框架下的AI模型事先通过一般方式转换为中间格式,然后根据中间格式生成待部署模型的NHNN模型,如此,只需要根据NHNN框架构建目标芯片能够识别的模型,连同NHNN权重导入即可完成部署,能够简化开发人员向HC3080等此类芯片部署AI模型的成本,简化开发流程。
技术关键词
芯片 动态库文件 嵌入式系统 框架 格式 简化开发人员 策略生成方法 板卡 多核并行 数据 输出特征 核心 节点 模块 参数 尺寸
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号