一种面向长文本任务的大模型KV缓存多维压缩方法和系统

本申请提供一种面向长文本任务的大模型KV缓存多维压缩方法和系统，方法包括：从长文本任务相关语料中采样能够覆盖大语言模型的上下文结构和语义模式的输入样本，构建校准数据集；将预训练的所述大语言模型加载至推理框架中，使用所述校准数据集进行前向推理，提取前向推理过程中生成的每一层KV缓存，并按层级存储；对每一层的所述KV缓存进行奇异值分解，并计算前r个奇异值能量占比，用于判断该层KV缓存的低秩程度；根据判断的所述低秩程度，在秩维度和量化维度上进行联合压缩；将联合压缩后的所有层的KV缓存用于推理部署。本申请实现在长文本任务中对大语言模型KV缓存的高效压缩与精度保持。