基于拦截转发用户接口的神经网络处理器容器化方法

本发明具体涉及一种基于拦截转发用户接口的神经网络处理器容器化方法，在容器应用于NPU设备驱动之间构建一层NPU虚拟化守护进程，用于拦截应用对NPU设备的请求，在NPU虚拟化守护进程中完成请求并返回处理结果。NPU虚拟化守护进程实现了对NPU资源的集中控制和集中分配，当资源不足时，NPU虚拟化守护进程会将请求加入等待队列，并堵塞容器应用的请求，直到空闲资源满足请求的需求。本发明方法解决了NPU设备部署灵活性差、无法被多应用共享的问题。