一种神经网络算子在晶圆芯片上的张量切分与映射方法

本申请提供一种神经网络算子在晶圆芯片上的张量切分与映射方法，通过将前向计算图扩展为包含前向传播、反向传播和梯度更新的训练计算图，并在这些阶段的计算中使用不同的算子；对训练计算图中每个算子的输入张量进行维度切分，生成多种全局的候选切分策略；针对每种候选切分策略，枚举所有算子可行的资源映射策略，组合生成候选设计点；通过成本评估筛选最优设计点，输出对应的候选切分策略和资源映射策略。本申请通过计算图的拓展，解耦神经网络训练过程中前后向算子，探索出在训练过程中前后向计算均避免张量复制的切分方案及其对应的资源映射策略，从而避免张量复制，降低全局的资源占用，从而使得相同的晶圆级芯片能够支持更大模型训练。