一种模型部署方法、装置、电子设备及存储介质

AITNT
正文
推荐专利
一种模型部署方法、装置、电子设备及存储介质
申请号:CN202411906645
申请日期:2024-12-23
公开号:CN119902777A
公开日期:2025-04-29
类型:发明专利
摘要
发明实施例提供了一种模型部署方法、装置、电子设备及存储介质,通过确定目标模型;对目标模型执行包括算子类型转换操作和内存分配策略优化操作,将目标模型转化为目标图表示;确定针对目标图表示的算子序列,以及针对算子序列的算子参数;基于算子序列和算子参数生成二进制文件,并将二进制文件发送至嵌入式端设备;嵌入式端设备被配置为:下载二进制文件,并创建用于解析二进制文件的自定义中间件;基于自定义中间件在无操作系统环境下加载并运行目标模型,实现了将为复杂操作系统设计的AI推理框架适配到资源受限、操作系统简化的嵌入式设备上,同时保证高效的内存利用率和推理性能。
技术关键词
操作系统环境 模型部署方法 中间件 内存 序列 参数 策略 节点 通信接口 电子设备 处理器 嵌入式设备 存储器 模块 指针 可读存储介质 数据 关系 队列
系统为您推荐了相关专利信息
1
一种基于系统阻抗映射机理的V2G充电桩的控制方法及系统
电网谐波电流 方程 电压 坐标系 神经网络预测控制方法
2
一种基于EmaDformer的中长期海浪有效波高预测方法
海洋环境数据 前馈神经网络 线性模块 贡献率 注意力机制
3
一种服务器运维方法、装置、设备及存储介质
预测故障率 服务器运维方法 决策 计算机设备 多层神经网络模型
4
一种分布式语音互动模块系统及事件协调处理的方法
摘要 模块系统 记忆 策略选择器 意图
5
基于深度学习的非接触式血压检测方法及系统
血压检测方法 前馈神经网络 检测人脸 接触式 序列
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号