一种面向张量结构等价的多流GPU显存复用方法及装置

AITNT
正文
推荐专利
一种面向张量结构等价的多流GPU显存复用方法及装置
申请号:CN202510672028
申请日期:2025-05-23
公开号:CN120596250B
公开日期:2025-11-18
类型:发明专利
摘要
一种面向张量结构等价的多流GPU显存复用方法,一个计算流的显存块被释放后,放入显存共享池,方法包括:提取张量的结构信息,包括维度、数据类型和步长布局,基于张量的结构信息生成唯一结构标识;构建并维护映射表,映射表中存储多个键值对,键为唯一结构标识,值为显存地址,显存块位于显存共享池中;为张量显存分配时,结合当前执行上下文标识,查询映射表中是否存在与唯一结构标识匹配且未被占用的显存地址,存在的情况下,调整指针指向显存地址,为张量分配未被占用的显存;在不存在的情况下申请显存地址并更新映射表。本方法能够在不改变原始网络结构与执行逻辑的前提下,可复用大量生命周期不重叠的张量空间,显著降低显存峰值占用。
技术关键词
标识 复用方法 计算机可读指令 计数器 哈希算法 生命周期管理 深度学习框架 分配接口 键值 布局 分配器 生成方法 网络结构 指针 管理器 可读存储介质 时间差 阶段 模块
系统为您推荐了相关专利信息
1
一种基于声纹耦合的天然气微小泄漏MFCC检测系统和方法
神经网络模型 红外图像采集装置 麦克风阵列 天然气 风险
2
一种术中麻醉深度的预测方法及相关设备
深度预测模型 生命体征信息 训练样本集 患者 服务器
3
一种向系统分发数据的方法、数据处理方法及相关装置
节点设备 分布式数据库系统 标识 索引 数据处理方法
4
传感器模组及装配方法
传感器模组 单体 电路板 检测芯片 焊盘
5
一种CAD应用系统设计方案数据管理方法及系统
系统设计方案 数据管理方法 编辑 数据同步 CAD设计模型
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号