一种大语言模型推理方法、装置、设备、介质和产品

本说明书实施例提供大语言模型推理方法、装置、设备、介质和产品。其中该方案包括：获取大语言模型在推理过程中所预测出的token序列，并基于该token序列判断大语言模型是否陷入了循环状态，若所述大语言模型陷入了循环状态，则通过干预机制强制性结束大语言模型的推理过程。该方案，可以避免大语言模型在推理过程中陷入循环状态，从而可以节省模型的计算资源以及推理时间，还可以提升模型所生成的文本的准确性，进而可以提升模型的整体推理性能。