一种基于模型编译与NPU协同的神经网络模型推理方法

本申请公开了一种基于模型编译与NPU协同的神经网络模型推理方法，涉及深度学习技术领域，该方法从模型编译阶段就开始介入，模型编译器不仅完成模型格式的转换还对模型权重明文进行加密得到模型权重密文，从而生成加密模型文件存储在内存中，加密模型文件即便意外泄露也不会导致模型权重明文外漏。而在运行阶段由NPU将加密模型文件中的算子信息数据块加载到NPU内部并解析得到算子信息，按照算子信息从内存中读取模型权重密文加载到NPU内部解密得到模型权重明文后，从而进行实时解密后完成模型推理，通过从编译到推理全流程的加密和解密管控，能够降低泄露风险，全方位保护神经网络模型的安全性。