端云LLM混合服务框架下端侧LLM的优化方法

一种端云LLM混合服务框架下端侧LLM的优化方法，通过终端收集用户和云侧LLM的历史交互数据并构建外部数据库后，评估其中每个元素的价值并生成最优数据库子集；当收到用户输入时，终端将端侧LLM的生成结果和在最优数据库子集中的k‑近邻检索结果加权得到端侧回复结果，实现推理增强。本发明通过使用用户和云侧的历史交互记录建立外部数据库以显著提升端侧LLM生成质量，并通过离线和在线子集选择算法进行数据库压缩，二者都有接近(1‑1/e)的近似比保证，带来的困惑度(PPL)下降多于其他数据库压缩算法。