一种针对大语言模型的推理过程的优化方法及装置

本申请实施例提供了一种针对大语言模型的推理过程的优化方法及装置，涉及大语言模型技术领域，该方法具体为：接收用户输入的问题文本；获取所述问题文本对应的目标特征集合，并基于所述目标特征集合对所述问题文本进行复杂度量化评估，以获取所述问题文本对应的目标复杂度；所述目标特征集合中的特征用于表征所述问题文本的复杂性；基于所述目标复杂度确定待激活的解码层的目标数量M，并将所述目标数量的解码层进行激活；其中，M为大于等于1的整数；待M个解码层激活之后，利用所述M个解码层对所述问题文本进行解码分析，获取所述问题文本对应的目标答复文本。本申请能够提高大语言模型的推理效率，同时避免资源浪费。