一种基于模糊语义匹配的大语言模型键值缓存复用方法和系统

本发明涉及大语言模型推理技术领域，公开了一种基于模糊语义匹配的大语言模型键值缓存复用方法和系统，方法包括：根据用户的历史推理请求中的词元生成键值缓存，将多个词元聚集成词元块，生成词元块的嵌入向量，建立向量数据库；计算新的推理请求的词元块的嵌入向量与向量数据库中历史嵌入向量的余弦相似度，若存在余弦相似度超过设定阈值的历史词元块，则通过哈希索引获取对应的键值缓存并复用；计算注意力分数，基于所述注意力分数将当前词元块中的多个词元区分为关键词元和非关键词元；对关键词元重新计算键值缓存；对关键词元的重新计算的键值缓存以及对非关键次元复用键值缓存组成混合键值缓存。本发明方法能够在几乎不降低模型精度的前提下，将键值缓存复用技术从精确匹配拓展至模糊语义匹配，有效削减不必要的计算开销，进而提升推理效率。