一种多加速器异构SoC平台上深度学习负载映射优化方法及系统

本发明公开了一种多加速器异构SoC平台上深度学习负载映射优化方法及系统，涉及计算机性能能耗协同优化技术领域，用以提高深度学习推理应用的性能同时降低能耗。本发明的技术要点包括：首先提取有性能或能耗优化潜力的子网络；接着测量融合节点和子网络的性能和能耗数据；再建立解析的性能和能耗预测模型，以预测不同映射配置下推理引擎的运行时间和能耗；之后使用基于变长滑动窗口的映射优化算法搜索性能‑能耗更优的映射配置；最后生成推理引擎并遍历搜索最优的CUDA stream数量。本发明无需用户干预，可以全自动地找到性能‑能耗更优的映射配置并生成推理引擎。与现有的JEDI等方法相比，本发明性能提升更多，能耗节省也更多，同时优化过程所需时间也更短。