摘要
本申请公开了一种基于加速器的模型部署方法及系统,涉及计算机应用技术领域,该方法将模型文件转换为中间表示,基于中间表示的算子节点匹配核接口函数,并通过核接口函数实现编译部署的指令生成。具体地,基于核接口函数将中间表示转换为指令文件,将指令文件部署于硬件加速器上。本申请通过核接口函数实现指令转换,核接口函数与算子的匹配关系,便于新增算子的扩展与部署。本申请提供的部署方法逻辑简单,模型部署流程灵活可扩展,有利于提升部署效率,进而提升模型的推理能力。
技术关键词
模型部署方法
硬件逻辑单元
生成微指令
描述符
节点
数据依赖关系
硬件加速器
错误日志
解码
指令流
信号
计数器
模块
参数
规模
计算机
系统为您推荐了相关专利信息
交通流量预测方法
位置隐私保护
生成密钥
坐标
服务器
串行接口控制器
低功率
描述符
USB主机控制器
存储器预取
分子预测方法
结构编码器
文本编码器
描述符
跨模态