一种推理系统、推理方法、电子设备、介质及产品

本申请提供一种推理系统、推理方法、电子设备、介质及产品，属于人工智能技术领域，推理系统包括云端计算资源、多个边缘侧计算资源和多个终端计算资源；每个终端计算资源包括复杂度分析模块，复杂度分析模块用于对终端设备产生的任务进行复杂度分析，并基于复杂度分析结果为任务匹配执行推理的目标计算资源。本申请通过云端计算资源有效降低了边缘侧和终端的计算压力，有效避免边缘设备和终端设备强行部署资源消耗大的模型；另外，通过终端对任务的复杂度分析来动态调度其中一级计算资源进行独立推理或两级计算资源进行协同推理，以应对不同的业务需求，使得算力资源得到充分利用。