模型中键值缓存的容错方法、产品、设备及介质

本申请公开了一种模型中键值缓存的容错方法、产品、设备及介质，涉及计算机技术领域，包括逐层读取多个注意力层中每一层的键值缓存中多个词元的键向量并进行检测，在检测到当前层对应的第一词元的键向量存在读取错误的情况下，根据第一词元在上一层的注意力重要性，修正当前层的注意力分数，解决了键值缓存中的键向量读取错误导致的模型推理的稳定性差且可靠性差的技术问题，达到了提高键值缓存的容错能力，从而提高模型推理的稳定性和可靠性的技术效果。