基于模型卸载与智能量化的端云协同推理方法、装置、设备和程序产品

本公开提供了一种基于模型卸载与智能量化的端云协同推理方法、装置、设备和程序产品，可以应用于面向资源受限与网络动态场景下的端侧模型推理任务领域。该方法包括：根据深度神经网络模型中的每个网络层的计算复杂度和层间依赖关系，将深度神经网络模型划分为端侧子模型和云侧子模型；基于端侧子模型处理推理子任务，得到中间推理子结果；将中间推理子结果的语义中心与推理任务的数据特征进行匹配，得到数据分离度，基于数据分离度调整中间推理子结果的精度，得到中间目标推理子结果；基于云侧子模型处理中间目标推理子结果，得到与推理子任务对应的推理子结果；以及基于多个推理子结果，确定推理任务的推理结果。