一种深度学习模型多NPU端侧一键式部署系统及方法

本发明公开了一种深度学习模型多NPU端侧一键式部署系统及方法，其中系统包括前端交互模块、服务侧控制模块、端侧执行模块和结果整合模块，方法包括：在用户侧进行前端配置，在服务侧接收前端配置，调用统一版本容器环境执行模型转换，推送至端侧；在端侧接收服务侧推送文件，启动推理脚本，获取推理结果和NPU性能数据；在用户侧接收端侧部署报告，通过前端界面反馈给用户。本发明通过集成前端交互模块、服务侧控制模块、容器环境管理单元、端侧执行模块和结果整合模块，实现了在多种NPU设备上的自动化模型部署。实现一站式自动化部署，从前端配置到端侧执行、结果分析全流程无需人工干预，大幅提升效率。