一种基于逐步探索和偏好优化平衡大模型中推理长度和准确性方法

本发明属于压缩大语言模型推理长度技术领域，公开一种基于逐步探索和偏好优化平衡大模型中推理长度和准确性方法。采用了逐步探索机制和长短切换采样策略，使大模型能够逐步生成多样化的推理路径。这些路径将被评估并用于构建偏好对，进而训练两个孪生模型，一个优化推理准确性，另一个优化更短的推理过程。最终，通过插值这两个模型的参数，得到一个集成模型。多个数学推理数据集和骨干模型的实验结果表明，本发明显著减少了推理长度，大约减少了30‑50%，同时保持并进一步的提高了推理准确性。