一种用于资源受限异构设备的神经网络协同推理方法

本发明公开的一种用于资源受限异构设备的神经网络协同推理方法，属于边缘计算领域。本发明实现方法为：构建针对资源受限异构设备的推理时延预测器，采用贝叶斯优化拆分方法，拆分需要部署推理的原始神经网络模型得到多个适配资源受限异构设备计算性能和硬件资源约束的子模型；使用渐进增强蒸馏方法依次训练所有子模型，将训练好的所有子模型部署到对应的资源受限异构设备上，当接收到推理任务请求时，联合多个空闲的资源受限异构设备并行执行子模型的计算，计算结果通过资源受限设备间的局域网传输到中心节点进行汇聚后得到最终推理结果，节省多资源受限异构设备的计算开销和存储资源，降低多资源受限异构设备的推理时延和能量损耗。