一种基于大模型的推理方法、装置及程序产品

本申请提出一种基于大模型的推理方法、装置及程序产品，通过一次请求的一个提示词，在不人为构建多个提示词的前提下，利用温度系数的递减策略，伴随候选序列的生成过程，使得每个候选序列中的各个词元，依次从追求多样性逐渐过度至追求精确度。进而在构建答复文本时，将自信度较低的候选序列剔除，保留具有更高自信度的候选序列进行答复文本的生成。从而在提高处理效率，减少模型开销的同时，保证了最终输出的答复文本的准确性。