一种神经网络推理推测加速方法、系统、设备以及介质

本发明公开了一种神经网络推理推测加速方法、系统、设备以及介质，包括：获取待推测加速神经网络模型的算子总层数；分别确定各硬件设备对应的最优算子层数，其中，硬件设备的数量若干，硬件设备用于对待推测加速神经网络模型进行推测，各硬件设备对应的最优算子层数之和等于算子总层数，硬件设备的类型包括边缘计算设备、云端服务器以及终端设备；控制各硬件设备分别对各自对应的最优算子层数进行推测。本发明属于神经网络推测领域，本发明通过确定各硬件设备对应的最优算子层数，可使得低算力设备也能完成对待推测加速神经网络模型的推测加速。