边缘环境下推理精度感知的服务部署与模型选择系统及方法

本发明提供了边缘环境下推理精度感知的服务部署与模型选择系统及方法，包括用户端以及边缘服务器端；所述用户端包括终端设备以及推理请求模块；所述边缘服务器端包括服务类型选择模块以及模型选择模块；系统基于多时隙运行；在每个时隙，用户的推理任务记为一个五元组，其中表示任务大小，表示服务类型，表示在不同配置下的计算密度，表示在不同配置下的推理精度，表示任务优先级；任务的计算密度和推理精度会随资源配置的不同而变化；本技术方案所提出的系统模型综合考虑了推理延迟、推理精度和内存限制等多个因素，旨在兼顾用户服务质量的同时提升边缘资源的利用效率。