大模型推理方法、装置、电子设备及存储介质

本申请公开了一种大模型推理方法、装置、电子设备及存储介质，涉及人工智能技术领域。所述方法包括：获得大模型针对待处理信息进行推理所需要的长期记忆信息；基于注意力机制对所述长期记忆信息进行抽样，获得目标信息；基于所述目标信息，利用所述大模型推理得到针对所述待处理信息的输出信息。