一种键值缓存剪枝方法及系统

本发明提供一种键值缓存剪枝方法及系统，首先获取大语言模型的查询向量、待剪枝的键缓存向量集合和待剪枝的值缓存向量集合；根据查询向量和待剪枝的键缓存向量集合，计算键缓存向量重要性评估值；根据待剪枝的值缓存向量集合，计算值缓存向量重要性评估值；根据键缓存向量重要性评估值和值缓存向量重要性评估值，确定键值缓存重要性度量结果；基于键值缓存重要性度量结果对待剪枝的键缓存向量集合和待剪枝的值缓存向量集合进行键值缓存剪枝，以保留具有大激活值的键缓存向量和具有大激活值的值缓存向量。本发明的方法不仅减少了键值缓存的存储需求，而且保持了优越的模型性能。