一种用于大语言模型的投机采样方法、装置和计算机设备

本说明书提供了一种用于大语言模型的投机采样方法，在获取输入大语言模型的目标提示词后，从预设的多个话题中确定与目标提示词相关的目标话题。每个目标话题设置有对应的词表，在确定目标话题后，可以基于目标话题对应的目标词表，进行基于词表中记录的各个文本片段的频次的投机采样。从而可以利用投机采样结果进行大语言模型解码阶段的预测。基于词表进行投机采样可以减少显存资源的占用。对不同话题的词表进行区分，提高了投机采样的准确率。