优化神经网络模型推理性能的方法和计算设备

本发明提供一种优化神经网络模型推理性能的方法和计算设备，所述方法包括：对神经网络模型的有向图结构进行预跑处理；获取输入数据；从所述算子执行队列依次调度算子对所述输入数据进行推理计算。预跑处理包括：从所述有向图结构中依次获取每层的每个算子；判断所述算子的类型，所述算子的类型包括：常量算子、变形算子、硬件算子以及除以上三种算子以外的自定义算子；根据所述算子的类型对所述算子进行分类处理；根据分类处理的结果，将处理后的所述算子添加到算子执行队列。根据本发明的技术方案能够优化神经网络模型的加载流程，缩短模型推理耗时，降低模型电力消耗。