一种GPU内存优化管理方法与系统

本发明涉及内存管理技术领域，特别涉及一种GPU内存优化管理方法与系统。该GPU内存优化管理方法，将图形处理器GPU设备端的内存空间划分为指令内存区、受控内存区和自主内存区；制定内存分配方案，构造内存管理容器，为每个核函数分配一个键值，并为每个键值分配一个单链表，写入到受控内存区指定内存中；根据键值及单链表，获取推理过程中每个核函数所需要的内存空间，将推理结果数据存入受控内存区中指定的输出数据内存空间。该GPU内存优化管理方法与系统，优化了内存空间的利用，实现了最大化的内存复用，避免了中央处理器CPU主机端和图形处理器GPU设备端程序频繁的交替执行，减少了系统整体的调度开销，提高了推理效率。