大模型推理方法、设备及存储介质

本发明提供一种大模型推理方法，包括以下步骤：S100)获取一语言模式提示；和S200)根据所述语言模式提示预测一响应结果的长度和逻辑结构。如果步骤S200预测到所述响应结果的长度大于一预设长度且所述响应结果的逻辑结构为金字塔结构，则进行以下步骤：S300)构建所述响应结果的金字塔主干，运用段落树并行解码技术生成所述响应结果的多个金字塔次要分支，以生成所述响应结果；如果步骤S200预测到所述响应结果的长度小于等于所述预设长度或所述响应结果的逻辑结构非金字塔结构，则进行以下步骤：S400)通过块并行解码技术生成所述响应结果。