多FPGA协同多深度神经网络流水线加速方法

本发明公开了多FPGA协同多深度神经网络流水线加速方法，其方法包括以下步骤：根据不同待部署深度神经网络模型的网络结构和计算需求，获取每个深度神经网络模型推理所需要的算子；并将每个待部署深度神经网络模型的推理过程划分为多个任务段；根据算子和任务段划分结果，向多个FPGA计算单元发送相应的调度指令，将每个深度神经网络模型推理所需要的算子按照类别部署到对应的FPGA计算单元，并控制对应的FPGA计算单元执行流水线操作，以进行待部署深度神经网络模型每个任务段的计算，并完成每个待部署深度神经网络模型的推理。本发明能够将多个模型推理过程中不同的计算任务进行流水线式处理，有效降低了多模型推理的总体时间。