摘要
一种基于CPU/NPU协同计算的卷积神经网络编译方法,将各种CNN模型在不同网络框架下经过模型量化和压缩,以ONNX文件格式导出;通过ONNX‑MLIR工具链与NPU编译器的融合完成ONNX文件编译过程并分别生成分配到CPU和NPU的任务列表后,在CPU端,ONNX‑MLIR为CPU任务生成有效的RISC‑V指令,支持高效调度,在NPU端,定制的NPU编译器完成NPU任务在算法与硬件上的匹配并将算子高效映射到NPU平台。本发明通过功能函数并优化核心阶段,解决CNN在异构架构(RISC‑V CPU/NPU)上无法有效运行的问题,实现计算性能的显著提升。
技术关键词
神经网络编译方法
自定义算子
数据传输开销
最大化吞吐量
任务调度
高效机器
模式
异构平台
内存
打包技术
自检功能
残差网络
阶段
输出特征
机制
调度器
列表
指令
变量
系统为您推荐了相关专利信息
系统负载均衡方法
调度器
深度强化学习
队列
分布式方法
自然语言
注册中心
电力系统数据分析
有向无环图结构
意图识别
远程医疗服务
患者生理状况
疾病
任务调度方法
服务评估模型