适用于异构硬件的深度神经网络模型推理延迟预测方法

本发明涉及适用于异构硬件的深度神经网络模型推理延迟预测方法，包括：构建目标深度神经网络模型的通用计算图；根据所述通用计算图创建目标深度神经网络模型的有向无环图；根据通用计算图提取模型静态特征,并通过当前硬件参数提取硬件特征；利用所述有向无环图、模型静态特征和硬件特征，构建模型推理延迟预测模型。本发明的有益效果是：本发明通过精准预测深度神经网络在异构硬件上的推理延迟，企业能够优化模型部署，显著降低计算资源的浪费与运营成本。同时，精准的深度神经网络模型推理延迟预测可以优化硬件资源调度提升了硬件利用率，减少了设备采购和维护开支。