基于LLM提示词的融合缓存方法、系统、设备及介质

本申请实施例涉及大语言模型技术领域，公开了一种基于LLM提示词的融合缓存方法、系统、设备及介质。将用户输入的提示词转化为嵌入向量并存储于向量数据库中；基于所述向量数据库利用向量检索技术计算新提示词与历史提示词的语义相似性，筛选相似提示词；将LLM大语言模型根据提示词生成的推理结果存储于Redis缓存中；基于所述相似提示词进行检索，快速返回所述Redis缓存中对应的推理结果；将提示词拆分并进行分片存储，针对每个分片独立存储对应的KV Cache。可以至少用以解决大语言模型推理过程中产生的计算资源和显存资源浪费的技术问题。