摘要
发明实施例提供了一种模型部署方法、装置、电子设备及存储介质,通过确定目标模型;对目标模型执行包括算子类型转换操作和内存分配策略优化操作,将目标模型转化为目标图表示;确定针对目标图表示的算子序列,以及针对算子序列的算子参数;基于算子序列和算子参数生成二进制文件,并将二进制文件发送至嵌入式端设备;嵌入式端设备被配置为:下载二进制文件,并创建用于解析二进制文件的自定义中间件;基于自定义中间件在无操作系统环境下加载并运行目标模型,实现了将为复杂操作系统设计的AI推理框架适配到资源受限、操作系统简化的嵌入式设备上,同时保证高效的内存利用率和推理性能。
技术关键词
操作系统环境
模型部署方法
中间件
内存
序列
参数
策略
节点
通信接口
电子设备
处理器
嵌入式设备
存储器
模块
指针
可读存储介质
数据
关系
队列
系统为您推荐了相关专利信息
电网谐波电流
方程
电压
坐标系
神经网络预测控制方法
海洋环境数据
前馈神经网络
线性模块
贡献率
注意力机制
预测故障率
服务器运维方法
决策
计算机设备
多层神经网络模型
血压检测方法
前馈神经网络
检测人脸
接触式
序列