基于预分配锁内存的计算卡群并行推理方法及装置

本发明提出一种基于预分配锁内存的计算卡群并行推理方法和装置，包括：构建由多张智能计算卡构成的智能计算卡群；获取推理请求，推理请求包含待推理的模型参数、输入数据以及其他的请求元数据信息；在每张智能计算卡的内存区域内划分锁内存区域；根据当前智能计算卡的空闲显存，在隐藏维度上切分输入数据，得到多个子张量；每个智能计算卡执行分配到的子张量的推理任务，然后各加速卡协同完成推理任务，各加速卡将得到的推理结果作为中间结果保存至本地的锁内存区域；当智能计算卡群完成全部子张量的推理任务后，按照正确的顺序进行合并所有智能计算卡的锁内存区域中的中间结果，得到推理请求的推理结果。