模型调用方法及相关设备

本申请公开了一种模型调用方法及相关设备，以解决现有技术中采用集群部署实现并发推理时，由于每个节点需要独立加载模型推理模块所需的算子及运行环境，从而容易导致资源浪费问题。方法包括：创建算法模型资源池，算法模型资源池包括不同算法模型执行推理任务时所需的算子和运行环境；将待用于执行推理任务的多个算法模型加载至算法模型资源池；创建至少两个API服务线程，并激活API服务线程与算法模型资源池之间的通信链路；当接收到基于API服务线程发送的模型调用请求时，从算法模型资源池中选取目标算法模型，并基于算子和运行环境将目标算法模型加载为模型实例；将模型实例返回至API服务线程，以使API服务线程能够基于模型实例执行推理任务。