一种面向边缘计算场景的通用神经网络模型部署优化方法及系统

本申请提供了一种面向边缘计算场景的通用神经网络模型部署优化方法及系统，解决了现有为降低延时在边缘环境下部署神经网络模型的过程中，由于加速算子的差异使得软件的泛化性差、无法适应差异性大的不同硬件技术问题。其包括解析并序列化神经网络模型，提取层次信息并转换为中间表示，构建有向图，根据有向图中每个网络操作映射到目标硬件的功能模块并分配内存，进行标准化输出Loadable文件；将Loadable文件中输入、输出张量绑定到内存中，提交并选择推理任务在目标硬件上执行并调度，实现了算子融合。本申请可广泛应用于边缘计算技术领域。