大语言模型的请求处理方法及装置

本说明书实施例披露一种大语言模型的请求处理方法及装置。其中方法的实现基于针对所述大语言模型的输出文本预先设定的多个生成区段，其中各个生成区段配置有对应的起始词元和终止词元，且配置有对应的查询采样语料。该方法包括步骤：首先，针对第一请求，在判断出其处于解码阶段的情况下，根据其包括的第一词元序列，确定对应的第一生成区段；然后，基于所述第一生成区段对应的第一查询采样语料和所述大语言模型，进行针对所述第一词元序列的投机采样处理，得到续接在所述第一词元序列之后的目标词元序列，作为所述第一请求的处理结果。