一种异构边缘设备集群上分布式CNN推理方法

本发明公开了一种异构边缘设备集群上分布式CNN推理方法，涉及深度学习技术领域，本发明包括步骤S1：利用并行特性训练CNN模型；步骤S2：将训练的CNN模型进行切分并进行分配，形成流水线推理；步骤S3：根据分配的CNN模型可用资源，评价不同流水线的吞吐量、内存负载和能耗；步骤S4：对预训练好的CNN模型执行分割操作，以形成流水线方案；本发明在模型训练和推理过程中，利用并行特性训练模型，并通过优化流水线推理模式，减少各流水线阶段等待时间，提高了系统吞吐量，同时，在资源分配时考虑能耗因素，使整体能耗降低，且搜索时间大幅缩短，减轻设备工作负载压力。