基于加速器的模型部署方法及系统

AITNT
正文
推荐专利
基于加速器的模型部署方法及系统
申请号:CN202511530399
申请日期:2025-10-24
公开号:CN120996097A
公开日期:2025-11-21
类型:发明专利
摘要
本申请公开了一种基于加速器的模型部署方法及系统,涉及计算机应用技术领域,该方法将模型文件转换为中间表示,基于中间表示的算子节点匹配核接口函数,并通过核接口函数实现编译部署的指令生成。具体地,基于核接口函数将中间表示转换为指令文件,将指令文件部署于硬件加速器上。本申请通过核接口函数实现指令转换,核接口函数与算子的匹配关系,便于新增算子的扩展与部署。本申请提供的部署方法逻辑简单,模型部署流程灵活可扩展,有利于提升部署效率,进而提升模型的推理能力。
技术关键词
模型部署方法 硬件逻辑单元 生成微指令 描述符 节点 数据依赖关系 硬件加速器 错误日志 解码 指令流 信号 计数器 模块 参数 规模 计算机
系统为您推荐了相关专利信息
1
一种基于位置隐私保护的同态加密交通流量预测方法
交通流量预测方法 位置隐私保护 生成密钥 坐标 服务器
2
用于USB成像应用的系统功率优化的装置和方法
串行接口控制器 低功率 描述符 USB主机控制器 存储器预取
3
基于知识提示的多模态药物分子预测方法
分子预测方法 结构编码器 文本编码器 描述符 跨模态
4
一种储能系统和分布式发电的最优选址定容的规划方法
分布式发电 节点 表达式 储能系统 决策
5
一种基于大数据的流程审批系统、方法及计算机程序产品
指数 风险 计算机程序产品 核心 层次结构模型
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号