摘要
本发明涉及内存分配,具体涉及一种针对复杂结构深度学习模型推理的算子内存分配方法,统计计算图中算子的种类;确定每种算子的内存分配优先级;确定各算子的生命周期;选取未进行内存分配且内存分配优先级最高种类的算子,基于深度学习加速核NNA的存储结构和各算子的生命周期进行内存分配;重复S4,直至完成所有算子的内存分配;本发明提供的技术方案能够有效克服现有技术所存在的应用于复杂结构的深度学习模型时难以有效缩短推理时间的缺陷。
技术关键词
内存分配方法
深度学习模型
深度学习加速
存储结构
节点
数据访问
存储器
关系
速度
核心
指令
系统为您推荐了相关专利信息
决策树模型
CART决策树
车辆
风险
机器学习训练
能耗预测方法
矿山设备
隐马尔可夫模型
数字孪生体
生成对抗网络
深度置信网络模型
数字孪生模型
状态实时监测
润滑剂
预警系统
综合能源系统
贝叶斯神经网络
节点
深度学习模型训练
能源设备