一种嵌入式端侧推理工程化装置及方法

一种嵌入式端侧推理工程化装置及方法。涉及计算机技术工程领域。包括模型转换服务模块、推理服务模块、端侧代理服务模块。所述模型转换服务模块用于将模型转换为端侧设备支持的模型格式，并推送至平台上的模型仓库进行存储；所述推理服务模块用于将带有转换后模型文件的压缩包通过平台部署创建一个在端侧设备上运行的在线推理服务，完成部署后用户在平台上请求端侧在线推理服务；所述端侧代理服务模块用于在端侧创建并运行推理服务、监测推理服务健康状态、处理客户端发来的推理请求、终止并删除推理服务进程。本发明从云平台侧向端侧部署的推理服务器发起推理请求，获取端侧的推理结果。最终，将这些结果展示在平台侧的页面上。