模型的迁移方法及相关设备

本申请公开了一种模型的迁移方法及相关设备，以解决现有技术中通过对深度学习模型进行量化处理以使GPU能有资源执行推理任务时，降低了模型的预测能力和准确性，导致在高准确率和精准率要求的应用场景中不适用的问题。该方法包括：确定图形处理单元中的算法模型被调用执行推理任务的调用频次；若调用频次小于预设调用频次阈值，则将调用频次小于预设调用频次阈值的空闲算法模型的层次结构信息和与推理任务相关的模型参数信息迁移至CPU和内存，以及使空闲算法模型的线程进入休眠状态；当接收到空闲算法模型的调用请求时，唤醒处于休眠状态的线程，并将空闲算法模型的层次结构信息和模型参数信息从CPU和内存中迁移至图形处理单元。