一种模型部署过程的推理代码自动生成方法及系统

本发明公开了一种模型部署过程的推理代码自动生成方法及系统,属于模型部署技术领域,本方法包括：从待部署模型的中间文件中提取模型信息，定义各算子的变量，生成输出变量名索引表、权重变量名索引表；确定每个算子的输入变量名，并按照算子的先后顺序生成输入变量名索引表；生成实际推理时的pad值索引表、输入尺寸索引表、输出尺寸索引表；针对每个算子，从API库中提取相应的API，根据输出变量名索引表、权重变量名索引表、输入尺寸索引表、输出尺寸索引表、输入变量名索引表、pad值索引表填充API的参数，生成相应算子的API调用；组合各算子的API调用得到所需的推理代码。本方案为AI芯片提供了推理代码自动生成方法，简化了模型部署流程。