一种基于流水线优化的异构边缘端多任务推理方法及装置

本发明公开了一种基于流水线优化的异构边缘端多任务推理方法及装置，本发明基于流水线阶段划分，平衡计算负载，采用争用缓解优化的方法调整争用模型的执行顺序，并通过负载窃取的技术手段动态调整流水线阶段间工作负载和尾部空泡，最小化异构处理器空闲时间空泡，提升处理效率。本发明通过在异构处理器上设计流水线并行机制，结合模型分割、动态规划、局部搜索等优化策略，提升了对异构计算资源的使用率，包括CPU大核、CPU小核、OpenCL GPU等，从而实现了计算吞吐量的显著提升，完成了对终端侧计算资源的高效利用。