一种结合机器学习和投机采样的大模型推理加速方法及系统

本发明公开了一种结合机器学习和投机采样的大模型推理加速方法及系统，其中方法包括：根据检索出的本地知识构建n‑gram语言模型；n‑gram语言模型推理阶段根据给定文字token，预测下一个token在词表中的概率分布，并采样预测下一个token；基于构建的n‑gram模型和大模型，实现投机采样算法，加速大模型推理。与当前的主流方法相比，本发明生成的内容相比较于现有投机采样算法所使用的近似小模型，更加可靠，其计算量少且减少了内存访问的需求，速度更快。本发明还进一步分别将改进的投机采样算法应用于transformers库和推理框架vLLM，推理速度获得进一步提升。