模型推理方法、装置、设备、介质和程序产品

本发明提供一种模型推理方法、装置、设备、介质和程序产品，所述方法包括：获取当前场景下的当前输入；基于推理模型，从缓存加载当前输入对应的历史键值矩阵以及当前输入对应的目标键值矩阵进行推理，得到当前输入对应的当前推理结果；其中，目标键值矩阵是从推理模型对目标场景下的基础任务进行批次推理生成的基础键值矩阵中选取的，目标场景包含当前场景。本发明提供的模型推理方法、装置、设备、介质和程序产品，采用较小的额外推理代价实现对未接触过的领域任务进行准确且快速推理。