模型推理方法、计算机程序产品及芯片

本申请实施例提供一种模型推理方法、计算机程序产品及芯片。在模型推理过程中，可以存储每个词元在每一层的隐藏状态，在需要用到这些词元的键值缓存时，可以基于该隐藏状态和键值投影权重矩阵恢复每个词元在模型每一层的键值缓存。本申请实施例提供的键值缓存恢复方案，可以同时以较低的开销利用芯片的计算资源和数据传输带宽资源，而不是单一的使用一种资源实现键值缓存的恢复，可以大大提高键值缓存的恢复效率，进而，提高模型的推理效率。