一种模型部署系统、方法及产品

本申请实施例提供一种模型部署系统、方法及产品，该系统包括：硬件基础功能模块、深度学习算法模块和内存管理器；硬件基础功能模块，提供模型文件加载接口，用于生成深度学习模型实例，提供给深度学习算法模块进行模型推理；深度学习算法模块，提供模型推理调用接口，响应于上层应用的调用请求，调用深度学习模型实例将完整推理任务提交至推理流进行模型推理，并在获得输出解析结果后，同步输出解析结果至目标线程；内存管理器，提供内存管理接口，响应于内存请求，从维护的内存池中进行内存分配。旨在提升模型部署和运行效率。