一种基于循环缓存的滑动窗口注意力加速方法及装置

本发明提供一种基于循环缓存的滑动窗口注意力加速方法及装置，解决了现有技术在滑动窗口注意力机制中内存存储效率较低，进而导致大模型对于序列处理速度慢的问题。基于环形缓存机制对含有滑动窗口注意力的大语言模型进行优化，在提高SWA中K Rcache和V Rcache对内存的利用效率的同时，还提高了K Rcache和V Rcache数据存储的速度，进而提升了整个大语言模型的推理速度。