一种可预设KV缓存容量的大模型构建方法及装置

本申请提供一种可预设KV缓存容量的大模型构建方法及装置，应用于大模型的Transformer结构中的注意力层，注意力层包括由M个键值向量构成的键值向量序列MV，以及由M个键向量构成的键向量序列MK；其中，M等于预设值；方法包括针对第N个输入向量，将其映射为写入查询向量wq及第一写入键值向量wv；利用写入查询向量wq与M个键向量进行计算，得到写入权重向量ww；利用写入权重向量ww及第一写入键值向量wv，对历史键值向量序列MV＇中的M个键值向量进行更新，将更新得到的键值向量序列MV写入缓存中。这样，可以实现可预设长度的KV缓存容量方案，以替代随上下文长度无限增长的KV缓存容量方案。