一种基于GPU时空资源共享的深度学习训练与推理任务动态协同系统

本发明提出了一种基于GPU时空资源共享的深度学习训练与推理任务动态协同系统，包括：GPU资源状态感知器，用于实时监控分布式训练任务的GPU核函数调用序列与显存分配状态，动态捕捉训练任务产生的计算间隙与显存碎片，生成二维资源时空特征图谱，并基于LSTM模型预测通信同步导致的GPU计算空闲周期；核函数动态调度决策器，用于基于资源时空特征图谱，采用自适应分配策略，对在线推理任务与离线推理任务进行优先级划分与动态资源配额分配，实现训练任务与推理任务的时空资源解耦；核函数执行仲裁器，用于通过显存空间复用与计算指令仲裁机制，根据调度决策动态控制推理任务核函数的提交与阻塞。本发明显著提升了GPU资源利用率，在保障训练任务性能稳定的前提下，有效利用碎片化资源支持多类型推理任务的并行执行，实现深度学习任务集群的资源高效协同。