推理过程中的注意力处理方法、装置、设备及介质

本申请提供了一种推理过程中的注意力处理方法、装置、设备及介质。应用于大语言模型，该方法包括：利用输入序列得到输入到大语言模型的输入token；从嵌入表中查询得到输入token对应的嵌入向量，并从查询表、键表和值表中分别查询得到输入token对应的查询向量、键向量和值向量；利用输入token对应的嵌入向量、查询向量、键向量和值向量，得到输入token对应的隐向量，隐向量用于推理得到推理结果。本申请能够降低推理成本，提高推理效率。