一种边缘计算场景下确定性延迟的协同推理方法及系统

本发明公开了一种边缘计算场景下确定性延迟的协同推理方法及系统，获取端边协同推理场景信息，确定用户对推理时延的需求与对推理精度损失的容忍范围；准备候选模型，将目标模型划分为浅层模型和深层模型；在边缘设备添加协同推理调度器与网络带宽监控点；执行端边协同推理，对初始模型进行部署，端设备执行浅层模型，边缘设备执行深层模型，端设备的执行结果基于渐进式传输机制通过网络传输到边缘设备；调度器结合用户对推理时延的需求以及端、边设备计算时延，确定用于网络传输的时延，基于用户对推理精度损失的容忍范围对推理配置进行调整。本方法能够对神经网络模型进行优化训练，并基于实时网络带宽波动选取最优鲁棒性模型执行推理。