基于动态显存压缩与内存异构的大语言模型推理加速方法及系统

本发明公开了一种基于动态显存压缩与内存异构的大语言模型推理优化方法及系统，通过整合KV Cache的动态压缩策略与内存并行架构，实现显存资源的智能管理。该方法包含：1）实时分析KV Cache的时空特征，自适应选择量化压缩、稀疏化或低秩分解算法，基于注意力头重要性评分进行分层存储，核心头部保留高精度，次要头部实施低比特量化；2）将压缩后的非活跃数据划分为多个数据块存储于系统内存，根据物理通道数量建立并行数据通道组，在加载时通过多通道并发读取压缩块并利用GPU张量核心加速稀疏矩阵并行解压；3）构建KV Cache复用机制与并行通道，采用硬件加速压缩与异步流水线机制，使压缩/解压过程与模型计算并行化。