一种基于推理实例快照的推理平台

本发明公开了AI推理平台技术领域的一种基于推理实例快照的推理平台，由网关、调度器、节点代理、推理容器实例、容器运行时以及快照对象存储组成的系统；S1，将已初始化完成的推理容器的CPU和GPU状态保存为可迅速恢复的文件；S2，通过将GPU状态存储在内存或高速对象存储中，在将GPU状态导入显存时，获得超过操作系统文件系统带宽的性能，该基于推理实例快照的推理平台，结构设计合理，推理实例在待机状态下不占用GPU和CPU计算资源，推理实例能够低延迟启动，InferX推理平台在以下场景下可有效提升GPU资源利用率，当推理实例发生故障时，系统可快速重启新实例，以保证服务连续性；可基于实时负载动态扩展新实例，以满足突发请求需求，同时避免GPU资源闲置。