推理计算方法及相关设备

本申请公开了一种推理计算方法及相关设备，涉及数据处理技术领域，包括：响应于推理计算指令，获取待推理的初始数据，基于预设推理引擎与预设推理优化策略，对所述初始数据进行推理计算，得到推理计算结果，其中，所述推理计算结果是基于推理计算过程中的注意力确定的，所述注意力是基于kv确定的，所述预设推理优化策略用于对所述kv进行压缩，以减少硬件资源消耗。本申请基于预设推理优化策略，对推理过程中的kv进行压缩，使推理引擎完成注意力计算只需要占用少量的资源，进而，在资源固定的情况下，可以进行更多的计算，加速推理速度。