模型首字推理方法及装置

本发明提供一种模型首字推理方法及装置，所述方法包括：获取模型的计算图，并从计算图中确定模型的末个注意力模块所在的计算子图；在计算子图中添加剪切节点，基于添加剪切节点后的计算子图，应用输入文本，进行模型首字推理，得到首字推理结果；剪切节点位于上一计算子图的输出节点之后，剪切节点用于在每个批次的行维度上对上一节点的输出进行剪切操作。本发明将剪切节点设置于上一计算子图的输出节点之后，从而剪切节点能够在每个批次的行维度上对上一节点的输出进行剪切操作，不仅能够去除冗余计算，提高首字推理效率，且去除冗余计算后也不会影响首字推理结果的计算精度。