摘要
本发明提供一种深度学习模型计算图拆分方法及编译系统,涉及计算机科学技术领域。该方法首先通过获取深度学习模型计算图,采用遗传算法设计性能评估器,获得深度学习模型计算图各个分支在不同核上的推理性能,自适应的将深度学习模型计算图各个分支映射到最佳核,并划分为子图。然后通过编译系统,将子图编译成序列化文件,实现了多分支在多核上的部署。该发明提出的深度学习模型计算图划分方法及编译系统充分评估了子图在多核加速器上的实际推理能力并能支持多样的深度模型架构,从而显著提高推理性能,使得边缘智能应用获得更快的响应速度和更高的处理效率,解决了可扩展性差的问题。
技术关键词
深度学习模型
节点
加速器
拆分方法
分支
遗传算法设计
编译系统
拆分系统
动态链接库
计算机科学技术
广度优先搜索
深度优先搜索
标记
插件
有向无环图
操作系统
队列
数据
划分方法
字典
系统为您推荐了相关专利信息
三维点云分割方法
三维点云数据
钢结构
融合特征
交叉注意力机制
自动化生成方法
语义图谱
视觉
自动化生成系统
自然语言文本
共享方法
工业互联网平台
企业
跨链系统
区块链系统