模型推理方法和装置

公开了一种模型推理方法和装置。该方法包括：对输入文本进行预处理以将其转换为语义向量序列；通过降维映射和键‑值映射，计算语义向量序列对应的压缩键和压缩值矩阵并将其存入预设缓存空间中；响应于循环结束条件未被满足，循环执行下述步骤：基于针对目标语义向量以及预设缓存空间中存储的压缩键和压缩值矩阵的第一线性变换，计算当前注意力表示；基于当前注意力表示生成新语义向量并更新语义向量序列；通过降维映射和键‑值映射，计算新语义向量对应的压缩键向量和压缩值向量并更新压缩键矩阵和压缩值矩阵。根据本申请的模型推理方法可以在保证模型推理效果和性能的同时显著提升推理效率。