一种针对复杂结构深度学习模型推理的算子内存分配方法

AITNT
正文
推荐专利
一种针对复杂结构深度学习模型推理的算子内存分配方法
申请号:CN202411462343
申请日期:2024-10-18
公开号:CN119440814A
公开日期:2025-02-14
类型:发明专利
摘要
本发明涉及内存分配,具体涉及一种针对复杂结构深度学习模型推理的算子内存分配方法,统计计算图中算子的种类;确定每种算子的内存分配优先级;确定各算子的生命周期;选取未进行内存分配且内存分配优先级最高种类的算子,基于深度学习加速核NNA的存储结构和各算子的生命周期进行内存分配;重复S4,直至完成所有算子的内存分配;本发明提供的技术方案能够有效克服现有技术所存在的应用于复杂结构的深度学习模型时难以有效缩短推理时间的缺陷。
技术关键词
内存分配方法 深度学习模型 深度学习加速 存储结构 节点 数据访问 存储器 关系 速度 核心 指令
系统为您推荐了相关专利信息
1
一种在车辆行驶过程中预测违章风险的方法
决策树模型 CART决策树 车辆 风险 机器学习训练
2
一种矿山设备能耗预测方法
能耗预测方法 矿山设备 隐马尔可夫模型 数字孪生体 生成对抗网络
3
一种基于物联网的大机润滑状态实时监测与预警系统
深度置信网络模型 数字孪生模型 状态实时监测 润滑剂 预警系统
4
基于哑资源的光路物理路由还原方法、装置及设备
光交接箱 物理 还原方法 设施 数据
5
一种综合能源低碳运行模型的构建方法、装置及管控系统
综合能源系统 贝叶斯神经网络 节点 深度学习模型训练 能源设备
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号