一种模型推理方法及电子设备

本申请公开了一种模型推理方法及电子设备，所述方法包括：基于获取的待推理文本，确定第一向量和第二向量；处理所述第一向量，确定第三向量，所述第三向量的维度小于所述第一向量的维度，所述第三向量的头数大于所述第一向量的头数；基于所述第三向量，在缓存结构中获取与所述第三向量相对应的目标向量，所述缓存结构中存储的所述目标向量的维度小于所述第二向量的维度且所述目标向量的头数大于所述第二向量的头数；基于所述第三向量和所述目标向量，确定与所述待推理文本相对应的推理结果。