一种基于异构系统的DNN通用部署方法及系统

本申请涉及人工智能硬件加速技术领域，涉及一种基于异构系统的DNN通用部署方法及系统。所述方法包括：将待部署的深度神经网络进行细粒度拆分，划分为多个子层；基于异构系统的硬件参数，将所述子层映射到异构系统的计算核心上，进行初步映射分配；对所述异构系统的通信链路进行建模，形成初步分配方案，估算每条通信链路的延迟和功耗；实时监控数据传输过程中的通信延迟和功耗，并通过数学规划优化算法对分配方案进行离线迭代优化，生成最终优化分配方案；基于所述最终优化分配方案，控制异构系统的计算核心执行子层计算任务，并管理存储模块的张量生命周期。本发明能够更好地适应不同的应用需求，大大提高了系统的自主性和运行效率。