基于分布式的模型推理方法、装置、设备及存储介质

本发明涉及一种基于分布式的模型推理方法、装置、设备及存储介质，该方法应用于分布式网络系统的中心设备，分布式网络系统中包括一个中心设备和多个边缘设备；包括：根据待分配模型的结构信息，对待分配模型进行划分处理，得到多个子模型，并将每一子模型分配给至少一个边缘设备；其中，结构信息表征模型层之间的层级结构，多个子模型组成待分配模型；若响应到模型推理请求，则获取各边缘设备的资源信息；其中，资源信息表征边缘设备的运行状态；根据各边缘设备的资源信息，从子模型所分配的至少一个边缘设备中确定目标设备；根据各子模型之间的执行顺序，控制目标设备执行对应的子模型。提高了模型的运行效率，实现对资源的充分利用。