摘要
一种面向张量结构等价的多流GPU显存复用方法,一个计算流的显存块被释放后,放入显存共享池,方法包括:提取张量的结构信息,包括维度、数据类型和步长布局,基于张量的结构信息生成唯一结构标识;构建并维护映射表,映射表中存储多个键值对,键为唯一结构标识,值为显存地址,显存块位于显存共享池中;为张量显存分配时,结合当前执行上下文标识,查询映射表中是否存在与唯一结构标识匹配且未被占用的显存地址,存在的情况下,调整指针指向显存地址,为张量分配未被占用的显存;在不存在的情况下申请显存地址并更新映射表。本方法能够在不改变原始网络结构与执行逻辑的前提下,可复用大量生命周期不重叠的张量空间,显著降低显存峰值占用。
技术关键词
标识
复用方法
计算机可读指令
计数器
哈希算法
生命周期管理
深度学习框架
分配接口
键值
布局
分配器
生成方法
网络结构
指针
管理器
可读存储介质
时间差
阶段
模块
系统为您推荐了相关专利信息
神经网络模型
红外图像采集装置
麦克风阵列
天然气
风险
深度预测模型
生命体征信息
训练样本集
患者
服务器
节点设备
分布式数据库系统
标识
索引
数据处理方法
系统设计方案
数据管理方法
编辑
数据同步
CAD设计模型