一种面向神经网络模型部署的内存管理方法、装置及介质

AITNT
正文
推荐专利
一种面向神经网络模型部署的内存管理方法、装置及介质
申请号:CN202510286472
申请日期:2025-03-11
公开号:CN120315857A
公开日期:2025-07-15
类型:发明专利
摘要
本发明实施例公开了一种面向神经网络模型部署的内存管理方法、装置及介质;方法包括:按照需求对已训练的、待部署的深度学习模型进行解析,得到计算图;按照模式将其拆分为若干计算子图;选取内存管理策略,得到子图内存调度方案;对其进行整合,得到整体内存调度方案。实施本发明实施例所提供的内存管理方案,通过对计算图进行切分,划分为多个计算子图,通过对计算子图使用不同的内存管理策略得到局部最优的内存管理方案,增加了内存调度的搜索空间,进而得到比使用单一策略更优的、全局内存管理方案,减少了深度学习内存占用量,提高了芯片内存资源的利用率,使得用户可以在不改变芯片配置的前提下,部署更加复杂的深度学习模型。
技术关键词
面向神经网络模型 内存管理方法 管理策略 深度学习模型 内存管理装置 节点 输入设备 内存占用量 处理器 可读存储介质 存储计算机程序 解析单元 存储器 指令 数据 模式 芯片
系统为您推荐了相关专利信息
1
一种形变文档图像精准拟合弯曲边界的方法及装置
弯曲边界 深度学习模型 边界轮廓 曲线拟合技术 控制点
2
用于特种设备安全检测的图像智能分析系统及方法
特种设备 三维卷积神经网络 裂纹扩展路径 生成点云数据 激光扫描设备
3
一种商拍场景中的实体分割方法、装置、设备及存储介质
服饰 掩膜 重叠阈值 深度学习模型 分割方法
4
一种基于多视图掩码自编码器的点云自监督分类方法及系统
监督分类方法 编码器 三维点云数据 分类系统 信息数据处理终端
5
一种无人机特高压变电站巡检路径规划方法及系统
特高压变电站 巡检路径规划方法 无人机路径规划 无人机巡检路径 粒子群算法
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号