一种基于多级缓存的模型调度方法、装置、设备及介质

本申请公开了一种基于多级缓存的模型调度方法、装置、设备及介质，涉及人工智能领域，包括：在模型部署的过程中，基于获取的模型访问请求对预设缓存架构中对应的待推理模型的当前模型热度进行更新；其中，预设缓存架构由上至下的缓存层分别为显存缓存层、进程内存缓存层、共享内存缓存层以及持久化缓存层；确定待推理模型在预设缓存架构中的目标缓存层，并当目标缓存层为显存缓存层时，触发对待推理模型的预设推理操作；当目标缓存层为非显存缓存层时，基于位于目标缓存层之上的其他缓存层中的各当前模型热度将待推理模型调度至显存缓存层，以在显存缓存层触发对待推理模型的预设推理操作。因此，本申请能够实现模型资源的高效利用和智能管理。