模型推理方法及装置

本发明提供一种模型推理方法及装置，方法包括：对至少一个第一注意力头中的键向量进行位置编码后，基于位置编码后的查询向量、位置编码后的键向量以及值向量确定第一注意力计算结果；基于其余注意力头的键向量、值向量以及位置编码后的查询向量，确定其余注意力头的第二注意力计算结果；基于第一注意力计算结果以及第二注意力计算结果进行模型推理，得到当前推理结果；在确定第二注意力计算结果的过程中，若确定当前输入对应分词与历史分词相同，则对第二注意力计算结果对应注意力头的相应键值信息进行压缩。本发明在对第二注意力计算结果对应注意力头的相应键值信息进行压缩时没有丢弃重要信息，将高度冗余的信息进行压缩，接近无损压缩。