一种模型的数据处理方法、相关装置、设备以及存储介质

本申请公开了一种模型的数据处理方法，用于人工智能技术领域。本申请方法包括：首先，获取业务数据对应的输入向量，输入向量为其对应的隐向量且携带键信息和值信息。接着，采用压缩矩阵对输入向量进行维度压缩得到压缩向量，再将压缩向量添加到键值缓存中。通过压缩矩阵对维度较高、占用较多存储空间的输入向量进行维度压缩，得到的压缩向量维度降低，大大减少了所需的存储空间。将这些压缩向量存入键值缓存，降低了存储成本，能有效提升缓存空间的利用率。在进行注意力计算时，从键值缓存中取出压缩向量，利用上采样矩阵对其进行键值转换，还原出键向量和值向量，通过还原出的键向量和值向量进行注意力处理，保证了模型的准确性和性能。