面向非结构化稀疏神经网络模型的推理优化方法及系统

本发明公开了面向非结构化稀疏神经网络模型的推理优化方法及系统，属于图像处理技术领域，方法包括：预处理阶段对卷积核数据流进行重构，使用稀疏表示编码非零数据以减少冗余零值计算；编译阶段利用TVM优化规则完成稀疏算子实现、张量核循环匹配、基于预定义草图的循环边界固定等优化以适配不同边缘硬件；推理阶段综合考虑内存复用关系进行特征图数据流重构，降低计算过程中的频繁寻址；相较于现有稀疏加速方案，本发明不仅在保证推理精度的同时提高了模型推理实时性，而且可将方法高效适配至多种推理硬件。