键值存储方法和用于键值存储的主机装置

提供了一种键值(KV)存储方法和用于键值存储的主机装置。所述方法包括：针对大语言模型LLM的每一轮词元生成，根据与当前轮词元生成相应的第一KV缓存策略将当前轮词元生成过程中使用的多个KV向量中的第一部分KV向量存储到外部存储装置，并将所述多个KV向量中的第二部分KV向量存储在主机装置中；以及基于确定当前轮词元生成被完成，在下一轮词元生成中，将所述多个KV向量中的第一部分KV向量从所述外部存储装置加载到主机装置中以用于所述下一轮词元生成。