摘要
本申请涉及人工智能芯片技术领域,公开了一种模型性能预估方法、装置和计算机设备,其中,确定目标模型的模型配置数据和候选分布式策略;基于模型配置数据和候选分布式策略的策略配置数据对单卡部署状态对应的原始计算图进行转换,得到多卡部署状态对应的分布式开销计算图;根据分布式开销计算图中的基本开销和附加开销对候选分布式策略进行性能预估,得到目标模型在候选分布式策略下的策略性能数据,实现将单卡模型转换为多卡模型,并基于多卡模型实现在硬件资源的有限前提下多卡互联模式的仿真计算,以体现多卡互联模式对应的通信算子和拓扑结构在模型整体运行中的影响,从而可以在硅前的模拟器验证阶段精准评估模型性能上限。
技术关键词
分布式策略
性能预估方法
节点
人工智能芯片技术
数据并行策略
计算机设备
分片
模拟器
模块
阶段
存储器
标记
模式
参数
尺寸