Z Tech｜独家专访：连续斩获NeurIPS、ICML顶级奖项，清华黄高副教授课题组三位核心作者

当大模型行业不断追求更大的计算规模、更长的训练和更自由的生成方式时，清华大学黄高副教授课题组的三位青年研究者，却连续用三篇论文追问同一个问题：模型看起来变得更强，是否真的意味着它获得了新的推理能力？

清华大学黄高副教授

今年，由倪赞林担任第一作者，王慎执、乐洋共同参与的《The Flexibility Trap》获得 ICML 2026 Outstanding Paper Award。ICML 2026 投稿量达到创纪录的 24,000+ 篇，仅评出 2 篇 Outstanding Paper，该论文成为ICML历史上首篇完全由国内单位学者完成的获奖成果，为更好地理解和设计扩散语言模型做出了重要贡献。

这已经是黄高课题组一年内第二次获得国际人工智能顶会的最高级别论文奖项。此前，乐洋领衔的《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》获得 NeurIPS 2025 Best Paper Runner-up，围绕 RLVR 能力边界提出的反直觉结论，也迅速成为大模型强化学习领域讨论最广泛的工作之一。

同期，王慎执担任第一作者的《Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning》入选 NeurIPS 2025 ，一年内被引用超过500次，为分析RLVR entropy的经典论文之一。论文提出，大模型的思维链可以建模为少量高熵token的决定推理方向、大量低熵token的跟随和执行的过程，高熵的少数关键token可能才是真正影响大模型强化学习效果的核心，为理解大模型推理训练提供了新的视角。

三篇论文背后，是三位研究经历互补的年轻学者：倪赞林长期研究生成模型与扩散语言模型，王慎执聚焦强化学习与大模型Token Entropy机理，乐洋则聚焦强化学习与大模型推理能力的形成机制。他们在黄高副教授课题组相遇，将各自的研究积累汇入同一条主线，最终形成了一组相互衔接的原创成果。

黄高副教授是 DenseNet 的第一作者，曾获 CVPR 2017 Best Paper，单篇论文被引用超过 6 万次。如今，课题组又从计算机视觉和网络架构进一步进入大模型强化学习与推理机制研究，接连获得 NeurIPS 2025 Best Paper Runner-up 和 ICML 2026 Outstanding Paper，并入选 CVPR 2026 Best Paper Finalists。

在这次访谈中，Z Potentials 与倪赞林、王慎执、乐洋深入讨论了三篇论文背后的共同研究主线：为什么训练更多不一定更有效，为什么更大的自由度可能反而限制探索，以及大模型究竟如何才能真正突破已有能力边界。

Z Highlights

• 真正重要的研究只有两类：一类是帮助整个社区增加新的认知，另一类是真正简单、有用，并最终能够被广泛采用。
• 三项工作虽然切入点不同，但共同强调了一点：有时更多不一定总是更好。
• 我们首先提出了 bypass 不确定词元的解释，随后进一步将这一机制与 forking token 联系起来，某种意义上，答案一直都在那里，只是我们一直没有找到理解它的正确视角。
• 我认为好的研究应该为社区提供新的信息增量，而信息增量的重要来源之一，就是 surprise。也就是说，研究结果应该能够挑战人们已有的预期，而不仅仅是重复已有结论。
• RLVR 可以显著改变模型在已有能力范围内的采样分布，使原本概率极低的正确路径变得更加稳定，也可能通过参数共享带来一定的组合迁移。 我们真正想强调的是：在当前以 on-policy 和结果奖励为主的训练范式下，RLVR 很难稳定获得。
• 训练分布之外的新知识或新的推理模式。 这一限定条件，也是理解我们工作的关键。
• 至于只保留 Top 20% 的高熵 token，这并不是最优方案，也不是一个精细的工程设计。 这项工作的目标首先是一项学术研究，我们更希望传达一个 principle：高熵 token 更多负责决定推理方向，低熵 token 更多负责沿着既定方向完成推理。
• 真正理想的解码策略，应当在保证生成质量的同时，尽可能保留推理路径的多样性，这也是任意顺序解码目前仍然面临的核心挑战。

01 清华黄高副教授课题组三位青年学者的科研方法论

ZP：请三位先分别介绍一下各自的成长与求学经历。从学生时代开始，是什么契机让你们对科研产生兴趣，又是如何一步步进入黄高副教授课题组的？

倪赞林：我本科就读于清华大学，最初在航院，后来转入自动化系，最终进入黄高副教授课题组。

我从小就对数学和逻辑推理很感兴趣，也喜欢思考问题背后的规律。我一直觉得，科研最吸引人的地方在于，它能够不断突破人类已有知识的边界，把未知变成已知。这也是我后来选择走科研道路的重要原因。

真正让我坚定进入 AI 领域，是本科期间参加 SRT 项目。当时，一位师兄向我介绍了 GAN 等生成模型，并展示了模型生成的场景和房屋。那是我第一次意识到，AI 不只是识别现实世界，还能够学习现实世界的规律，并进一步创造出一个新的虚拟世界。这种能力给我留下了很深的印象，也让我决定把人工智能作为自己的研究方向。

后来，我主动转入自动化系。刚开始，我在鲁继文老师的课题组做一些计算机视觉方向的研究，在课题组师兄带领下完成了一篇 CVPR 论文。那段经历让我完整走过了一遍从想法到论文的科研流程，也帮我建立了最初的科研基本功。随着研究的深入，我开始更关注模型架构的问题，也了解到黄高副教授团队在这一方向做出了 DenseNet 等具有国际影响力的工作，还阅读了实验室师兄的一些研究成果，对团队的研究方向非常认同，于是联系了黄老师，最终加入课题组，并一直沿着这个方向持续开展研究。

王慎执：我小时候好奇心很强，总喜欢追着家长和老师问各种为什么，也经常自己做一些科创小项目。我很早就发现，自己对探索未知、研究问题始终保持着很强的兴趣。

我本科就读于北京航空航天大学，最初在航空航天大类学习。一次偶然观看电影《模仿游戏》和《社交网络》，让我第一次对计算机产生了浓厚兴趣。从那以后，我开始在课程学习之余自学编程，并在大一以书院第一名转入高等理工学院，后来选择了计算机专业，希望系统学习计算机和人工智能相关知识。

进入计算机专业后，我开始真正接触科研。大二暑假，我前往加拿大 University of Alberta 开展了第一段科研经历，这段经历让我第一次体验到科研工作的过程，也坚定了继续走科研道路的想法。随后，我在商汤科技从事计算机视觉研究，并在CVPR会议上发表了自己的第一篇第一作者论文。

在了解计算机视觉领域的发展时，我注意到黄高老师凭借 DenseNet 等工作在国际学术界具有重要影响力。同时，黄老师也是北航校友，让我感到格外亲切，于是主动联系了黄老师，并最终加入课题组，开始了后续的研究工作。

乐洋：从小我就比较喜欢一个人思考问题，对数学和逻辑推理尤其感兴趣。我很享受抽象思考的过程，总会下意识去观察和分析身边事物背后的规律。这种习惯也让我逐渐意识到，自己更适合做需要长期思考和探索未知的工作。

本科进入北京航空航天大学后，我通过大类培养选拔进入高等理工学院，并在专业分流时取得了第一名的成绩。虽然当时对不同学科的了解并不多，但我已经开始认真思考，自己真正适合做什么。基于当时的兴趣，我选择了电子信息专业。

进入电子信息专业后，我逐渐发现，相比硬件实验和工程实现，我更喜欢算法、理论和需要深入思考的问题。一次计算机与 AI 相关的讲座，让我第一次真正接触到人工智能，也让我很快确定了未来的发展方向。既然已经想清楚自己真正想做什么，就应该尽早开始，而不是继续留在一个并不适合自己的专业。于是，我主动转入计算机专业，也因此比同届同学晚了一年。

为了继续深造，我开始参与科研，最早从事计算机视觉方向的研究。虽然当时没有发表论文，但系统完成了算法基础和工程能力的训练，为后续研究打下了扎实基础。后来，受疫情影响，我调整了原本的留学计划，转而选择保研，并最终进入黄高副教授课题组，开始了后续的科研工作。

ZP：回头看博士阶段，你们认为哪些经历真正塑造了自己的科研能力？有没有几个关键节点，对后来做研究的方式和方向影响特别大？

倪赞林：回头看博士阶段，我觉得自己的科研能力主要经历了三个阶段的成长：学会表达科研、学会开展科研，以及学会选择科研问题。

最开始写论文时，我总是按照实验开展的顺序，把做过的事情完整记录下来，更像一份实验报告。后来，黄老师和同组的王语霖师兄不断强调，论文不是记录自己做了什么，而是帮助读者最快理解你的贡献。这让我逐渐学会站在读者的角度组织论文，而不是站在作者的角度罗列工作。这种思维方式，对我后来的科研影响非常大。

第二个变化发生在做实验的方法上。刚开始，我总希望一次把所有实验做完整、所有参数调到最好，但后来发现，高效的科研不是做更多实验，而是通过合理的实验设计，更快验证自己的判断。经历了很多失败之后，我才逐渐建立起更加系统的实验设计和研究推进方式。

最后，也是我认为最重要的一点，是科研选题的变化。早期，我更多是在已有方向上做局部改进。但后来我逐渐意识到，真正有价值的研究，不只是回答已有问题，而是发现那些值得被重新提问的问题。与其围绕已有结论做增量优化，不如主动去检验那些被广泛接受、却未必真正成立的前提。从那以后，我更关注问题本身，而不是急于寻找解决方案，这也逐渐成为我现在做研究最重要的方法论。

王慎执：对我影响最大的并不是某一篇论文，而是不断进入陌生领域、快速完成学习并形成研究能力的过程。

我的科研训练从本科开始。在商汤科技实习期间，我花了几个月时间从没有用过GPU的小白阶段入门视觉异常检测，到完成自己的第一篇第一作者论文并被CVPR接收。那段经历让我真正体验了一次完整的科研过程，也建立了面对新问题时不断学习的信心。

进入黄老师课题组后，我原本希望继续做计算机视觉，但黄老师建议我转向强化学习。当时我几乎没有相关基础，黄老师却告诉我：“不会就自己去学，没有什么东西是学不会、做不了的。”这句话让我印象非常深刻。从那以后，我开始系统学习强化学习，并逐渐在这一方向发表了一系列工作。这次跨方向的经历让我意识到，研究者不应该被已有积累所限制，而应该敢于进入新的领域。

2022 年底，ChatGPT 发布后，黄老师不断组织组会，讨论大模型带来的变化，并鼓励大家思考如何把自己的研究方向与大模型结合。起初，我认为大模型离自己的研究还比较远，但随着不断讨论，我开始尝试将强化学习与大语言模型结合，先后开展了 LLM Agent、LLM Post-training 等方向的研究。在发表论文的同时，我也训练和开源了下载量超百万的Llama3-Chinese-Chat等系列开源模型，并登上了HuggingFace Trending榜第7。

后来，在Qwen团队开展研究期间，我完成了《Beyond the 80/20 Rule》工作。这篇工作从当时团队遇到的真实训练问题出发，创新性地从Token Entropy角度建模语言模型的思维链，发现了占少数的高熵token的发挥着关键的决定思维链后续应该如何走的分叉 (forking) 作用，占多数的低熵token则跟随着高熵token决定的方向来延续思维链。这是我第一次成功地从理解机理的角度来解释实际问题，并进一步用以改进实际方法。

随后，我与赞林、乐洋开始合作推进《The Flexibility Trap》。我们三个人分别从扩散语言模型、强化学习、Token Entropy和推理能力边界等不同方向进入同一个问题。正因为研究背景不同，每个人都能够提供一种新的解释视角。最终，我们逐渐形成了“关键分叉被绕开，导致探索空间收缩”的完整理论框架。我越来越觉得，真正有价值的合作，并不是大家拥有相同的知识背景，而是能够用不同的方法共同回答同一个问题。

乐洋：我的科研能力主要经历了三次提升：建立科研基本功、形成独立科研能力，以及逐渐建立科研品味。

第一次成长发生在本科阶段做计算机视觉研究时。虽然当时论文产出并不算突出，但我几乎独立完成了整个研究流程，从代码搭建、数据处理到实验调试、结果分析，都亲自经历了一遍。这段经历最大的收获不是发表论文，而是让我真正理解了一项科研工作是如何从零开始完成的。

第二次成长发生在转向强化学习之后。大四期间，在黄老师的推荐下，我前往新加坡实习，企业导师康炳易对我的影响非常深。他不仅指导具体研究，更重要的是教会了我如何组织科研思路、设计研究路线，以及如何不断根据反馈完善一项工作。那段经历让我第一次具备了独立推进完整科研项目的能力。

第三次成长，则让我开始重新思考什么才是真正有价值的科研。康炳义曾告诉我，他认为真正重要的研究只有两类：一类是帮助整个社区增加新的认知，另一类是真正简单、有用，并最终能够被广泛采用。这句话后来一直影响着我的研究选择。

2024 年初，OpenAI 发布 Sora 后，我们开始思考一个问题：它究竟是真的学会了物理规律，还是只是学会了逼真的视频生成？围绕这个问题，我们花了半年多时间完成了一项研究，最终发现，当时的视频生成模型更多是在已有视频分布上进行组合泛化，而不是真正理解了物理规律。这是我第一次感受到，一项研究可以真正回答社区长期关心却没有明确答案的问题。

后来开展 RLVR 研究时，我延续了同样的思路。相比直接关注模型性能，我更希望理解为什么它有效、它真正学到了什么。最终，我们发现，RLVR 更像是在预训练模型已有能力基础上提升采样效率，而不是像 AlphaGo 那样从零发现全新的策略。回头看，我越来越觉得，科研最重要的不只是提出新的方法，更重要的是帮助大家重新理解已有现象。

ZP：在黄高副教授课题组这些年，对你们影响最大的是什么？黄老师有哪些科研理念、研究方法或做研究的习惯，至今仍影响着你们？站在你们的角度看，这个实验室最特别的地方是什么，它为什么能够持续做出原创性的研究？

乐洋：我认为，黄老师对我们影响最大的一点，是他非常出色的科研品味。很多人会觉得黄老师主要做计算机视觉和网络架构，但实际上，即使面对 RLVR、大语言模型等全新的方向，他也总能很快抓住问题的本质，判断哪些已经是社区共识，哪些仍然值得重新回答。很多时候，我们带着一个想法去讨论，黄老师并不会直接告诉我们应该怎么做，而是不断追问：这个问题真的重要吗？真正的新信息在哪里？即使不参与每一个实验，他也总能帮助我们把研究问题、论文逻辑和核心贡献梳理得更加清晰。我觉得，这种判断真正重要问题的能力，就是科研品味。

王慎执：对我影响最大的，是黄老师一直鼓励大家主动进入新的领域，而不是停留在自己的舒适区。我原本做计算机视觉，后来黄老师建议我转向强化学习。当时我几乎没有相关基础，他鼓励我不要害怕学习新领域。后来，大模型兴起后，实验室又很快开始讨论 LLM、Agent、Post-training 等新问题，鼓励大家不断学习、根据时代的趋势调整研究方向。我觉得，黄老师培养我们的，不只是做某一个方向的能力，更重要的是面对未知问题时快速学习、独立开展研究的能力。这种能力，比具体做哪一个方向更加重要。

倪赞林：我非常认同前面两位提到的科研品味和开放氛围。我印象最深的是，黄老师一直强调”简单比复杂更难”。做第一项工作时，我总觉得自己的方法太简单，担心论文内容不够丰富，一度想加入很多复杂设计。黄老师却告诉我，真正好的研究，不需要为了显得复杂而刻意增加设计。如果一个方法能够用最简单、最直接的方式解决问题，就应该坚持这种表达，而不是增加读者的理解成本。这一理念一直影响着我的研究和写作。

另外，我觉得实验室最特别的地方，就是开放和自由。黄老师不会要求大家局限在某一个固定方向，而是鼓励学生主动提出问题、探索新的领域。正因为有这样的研究氛围，实验室才能不断从计算机视觉走到强化学习，再到今天的大模型推理，不断做出新的原创工作。

02 重新理解模型能力边界：三篇工作的共同研究主线

ZP：《The Flexibility Trap》、关于RLVR能力边界的工作Limit-of-RLVR，以及《Beyond the 80/20 Rule》，似乎都在挑战一种简单的Scaling直觉，那就是训练更多、更新更多token，或者给予生成顺序更大的自由度，不一定就能获得更强的推理能力。你们认为这三篇工作的共同claim是什么？

倪赞林：我认为，这三篇工作都在挑战一种广泛存在的直觉：自由度越大、训练信号越多，模型能力上限就一定越高。关于 RLVR 能力边界的工作发现，强化学习虽然能够提高采样效率，却可能缩小推理路径的覆盖范围；《Beyond the 80/20 Rule》表明，更新更多 token 并不一定更优，只更新少量关键 token 反而可能获得更好的训练效果；《The Flexibility Trap》进一步说明，更自由的生成顺序，也未必意味着能够探索到更大的解空间。三项工作虽然切入点不同，但共同强调了一点：有时更多不一定总是更好。

王慎执：如果从 token 的角度理解，这三项工作共同说明，不同 token 在推理过程中承担的作用并不相同。推理过程中存在少量关键的高熵 token，它们对应着重要的逻辑分叉；而大量低熵 token 更多是在既定方向上补全内容。《Beyond the 80/20 Rule》选择重点更新这些关键 token，在不掉点的情况下，在更大模型上甚至能够取得明显更好的效果。《The Flexibility Trap》则进一步说明，如果生成过程绕开了这些关键分叉，而优先生成那些更确定、但训练价值较低的 token，就会压低关键位置的自由度。因此，无论是在训练还是分析过程中，都需要区别对待不同 token。

乐洋：关于 RLVR 能力边界的工作和《The Flexibility Trap》，还共享了 pass@k这一分析视角。更核心的是，两项工作都说明，强化学习的收益始终受到预训练模型能力以及采样方式的共同约束。如果预训练模型和当前采样策略本身无法覆盖某条推理路径，那么即使经过强化学习，这条路径仍然很难被探索到。

进一步来看，长链推理可以理解为在一棵搜索树上的路径探索。树上存在大量分叉，但真正决定最终推理方向的，往往只是少数几个关键分叉点。RLVR 的训练效率与探索范围、token 级训练策略，以及扩散语言模型的解码问题，都可以在这棵搜索树上得到统一理解：训练究竟更新了哪些关键分叉，采样究竟进入了哪些分支，以及模型是否过早放弃了那些不确定、但真正重要的路径。

倪赞林：是的，我可以再提供一个角度。《The Flexibility Trap》和 RLVR 能力边界其实都暗含了一个线索：exploration 与 exploitation 之间的权衡。RLVR 能力边界那篇文章表明，RL 往往会牺牲模型一定的 exploration 来换取对已有路径的更好exploitation。而 The Flexibility Trap 这篇文章中，扩散语言模型也是 exploit 了其任意顺序生成的自由度来换取稍好的单次表现，但牺牲了exploration与推理潜力上限。

03 挑战 Scaling 直觉：RLVR 的能力边界与突破路径

ZP：第一篇工作提出，RLVR主要提高sampling efficiency，却存在预训练分布之外的探索困难；后来你们又把注意力放到了扩散语言模型的decoding order上。这两条研究线之间是什么关系？高熵token和Flexibility Trap两个想法，哪一个先出现？你们是在分析DLM时重新发现了forking token，还是把前一篇工作的机制迁移到了DLM呢？

倪赞林：实际上，研究 decoding order 本身是一条相对独立的研究线。当时，领域内普遍将“任意顺序生成”视为扩散语言模型最重要的优势之一，但当我们进一步追问，这种灵活性究竟能够带来哪些能力提升时，现有证据大多停留在一些小规模任务或行为层面的展示，在社区最关注的通用推理任务上，始终缺乏有说服力的结果。

因此，我们最初的目标并不是证明它存在局限，而是希望验证并进一步挖掘任意顺序生成的优势。我们围绕这一假设开展了大量实验，但结果却一次次与预期相反。正是在这个过程中，我们开始调整研究问题：既然它没有表现出预期中的优势，甚至在一些场景下效果更差，那么真正限制它的原因是什么？

所以，并不是因为完成了 RLVR 能力边界的工作，我们才开始研究扩散语言模型的 decoding order；相反，我们一直都在关注 decoding order，只是在分析其局限性的过程中，才逐渐意识到，Limit-of-RLVR 工作中的 pass@k 分析视角，以及慎执提出的 forking token 视角，能够揭示传统分析方法难以观察到的问题。

从时间顺序来看，High-entropy token 的想法其实更早出现。《Beyond the 80/20 Rule》完成后，慎执就提出，可以尝试在扩散语言模型中观察是否存在类似现象。不过，当时我们的研究重点仍然放在 decoding order 本身，并没有真正将 forking token 和 pass@k 作为核心分析工具。

直到去年 12 月左右，随着研究重点逐渐转向“任意顺序生成为什么会受到限制”，前面的几条研究线才真正汇合。我们首先提出了 bypass 不确定词元的解释，随后进一步将这一机制与 forking token 联系起来，并发现它能够统一解释此前观察到的一系列现象。某种意义上，答案一直都在那里，只是我们一直没有找到理解它的正确视角。

ZP：很多工作会从一个已有范式出发，继续做Scaling或算法创新。你们的工作却经常先问“这个被普遍接受的前提真的成立吗？”为什么会频繁选择这种反证主流直觉的研究方式？

乐洋：我觉得，这与我前面提到的科研理念是一脉相承的。我更认可的一类研究，是能够回答关键问题、为整个社区增加新知识的研究。对我来说，更重要的是首先在逻辑上说服自己。大家都认为某种方法有效，但这种判断究竟来自充分的实验事实，还是仅仅来自一种看似合理的解释？一定要区分实验真正支持的事实，与基于结果提出的尚未得到充分验证的解释。

研究 RLVR 时，我在实验中持续观察到模型存在探索困难——无论怎样调整采样策略，都很难真正走出预训练模型的分布。正是这一现象，促使我重新思考强化学习是否真的像 AlphaGo 那样能够持续发现全新的策略，并想到使用pass@k这个指标和工具来研究这一问题。因此，我更倾向于把证据链逐层拆解，明确哪些结论是实验直接支持的，哪些只是基于现象作出的推断。

很多研究结论在传播过程中，往往会经历一个演化过程：最初只是某组实验支持一种解释，后来却逐渐被整个社区视为事实。遇到这种情况，我更愿意通过设计充分合理的实验来验证或者挑战这些假设。否则，再完整的故事也可能只是一个尚未被充分验证的假说。

王慎执：对我来说，这种研究方式有时也来自长期没有结果之后的不断反思。做《Beyond the 80/20 Rule》时，我连续一两个月尝试了很多方案，却始终没有取得突破。后来有一天，我突然想到：能否将 token 分成两类——一类高熵token负责决定推理方向，另一类低熵token负责沿着既定方向完成推理？这就是最初以token entropy分析思维链想法的雏形。

之后，我们采用的是一种假设—演绎—验证的研究方式：首先提出一个假设，再推导出如果假设成立，模型应该表现出哪些可观测现象，最后通过实验逐一验证这些预测。如果实验结果与预测一致，说明这一假设具有一定解释力；如果不一致，就继续修正假设。很多时候，正是因为很多容易想到的思路无法继续推进，才迫使我们重新回到更基本的问题，重新审视那些看似理所当然的前提。

倪赞林：我认为，这也与 research taste 密切相关。我曾看过何恺明老师画过的一张研究 landscape 图：有些区域像山峰一样聚集了大量研究者，代表已经形成较强共识；另一些区域则相对平缓，关注的人很少。一种很有意思的研究策略，就是主动走到这些“低共识密度”的区域，问一句“what if”。

当然，这样做的风险也很高。大多数时候，可能什么都发现不了，或者最终得到的是负面结果；但一旦发现一个真正不同于已有认知的现象，就有机会形成一项具有原创性的工作。

我认为好的研究应该为社区提供新的信息增量，而信息增量的重要来源之一，就是 surprise。也就是说，研究结果应该能够挑战人们已有的预期，而不仅仅是重复已有结论。在共识尚未形成、答案仍不明确的地方开展研究，虽然成功概率更低，但一旦取得突破，往往能够带来更大的认知增量，这也是我们一直比较认同的一种研究方式。

ZP：模型能力，究竟应该如何定义？第一篇工作把pass@k视为reasoning capacity boundary，但如果一条正确路径在base model中的概率只有十亿分之一，它在理论上存在，在实践中却几乎永远采不到，还能算模型已经具备这项能力吗？

乐洋：我认为，pass@k 并不能精确刻画模型能力边界，它本质上是一种近似，但在现阶段仍是相对合理的近似指标。

可以用一个简单的例子来理解。假设给一名学生出一道数学题，我们既可以让他作答一次，统计是否正确；也可以让他作答十次，计算平均正确率。这些指标反映的是模型的平均能力。而 pass@k 的逻辑有所不同：如果允许模型尝试 k 次，只要其中一次能够得到正确答案，就认为这道题位于模型当前能力边界之内。既然讨论的是能力边界，而不是平均表现，那么一次成功本身就具有意义。

当然，这里还存在一个关键问题：如何判断这一次成功并非偶然。对于数学推理任务，很难完全排除随机命中的可能；相比之下，代码生成任务由于需要通过完整的单元测试，偶然得到正确答案的概率要低得多。因此，pass@k 能够不断逼近模型的能力边界，但并不能在严格意义上给出能力边界的精确定义。

至于你提出的例子——如果一条正确推理路径在 Base Model 中的概率只有十亿分之一，我认为不能认为模型在实践中真正具备这项能力。理论上的可达性与实际能力并不是同一个概念。能力应当建立在有限计算预算和有限采样次数的前提下进行定义，例如允许几百次或几千次尝试；如果必须依赖远超现实计算资源的采样才能命中正确路径，那么它更接近一种理论上的可能性，而不应被视为模型现实能力边界的一部分。就像量子力学上人体穿墙概率不严格为零，但小到现实中可以当作绝不可能。

ZP：你们认为RLVR更像是在base distribution内部寻找并放大高奖励路径。这个过程更应该被理解为learning、search、distribution sharpening，还是policy compression？模型参数确实发生了变化，为什么这种变化不一定意味着模型学会了新的推理能力？

乐洋：我认为，这可以从当前大规模强化学习的基本算法出发理解。GRPO、PPO 等主流方法本质上都是 on-policy 方法，训练轨迹全部由当前模型采样产生，不修改轨迹，也不会引入外部信息。模型完成一条轨迹后，仅根据最终结果给予奖励：正确则提高该路径的概率，错误则降低其概率。因此，整个训练过程始终建立在 Base Model 能够采样到的分布之上。

如果类比人类学习，这更像是独立完成一道题，只知道最终答案是否正确，却不知道中间哪些步骤存在问题。在这种情况下，能力提升更多来自于已有能力的强化和熟练度的提升，而不是凭空获得一种全新的能力。这也是我们理解 RLVR 能力边界的基本出发点。

当然，这并不意味着强化学习只能机械地放大某一条固定路径。当模型参数规模足够大时，参数更新仍可能带来组合泛化。模型在 A、B 两类问题上学到的知识，可能通过参数共享组合到新的任务中，从而表现出一定的新能力。但总体而言，这种能力仍然建立在预训练模型已有能力的基础之上。如果 Base Model 本身能力不足，就很难期待后训练无中生有地获得新的知识或推理模式，这也是过去一年业界反复验证得到的经验。

因此，我们并不是认为RLVR 没有作用。相反，RLVR 可以显著改变模型在已有能力范围内的采样分布，使原本概率极低的正确路径变得更加稳定，也可能通过参数共享带来一定的组合迁移。我们真正想强调的是：在当前以 on-policy 和结果奖励为主的训练范式下，RLVR 很难稳定获得训练分布之外的新知识或新的推理模式。这一限定条件，也是理解我们工作的关键。

ZP：论文里提到，蒸馏能够从更强的教师模型中引入新的推理模式，而当前RLVR通常只能重排模型已有的路径。为什么蒸馏可以越过base model的能力边界，RLVR却很难？

乐洋：仍然可以从算法结构理解。RLVR的样本由模型自己产生；蒸馏的样本则来自更强的教师模型，学生可以直接学习教师模型分布中的新推理模式。

还是用做题来类比：RLVR是你自己做题，老师只告诉你最后对不对；蒸馏则有老师直接把标准解答告诉你。最简单的是SFT式蒸馏，直接学习完整答案；更强的on-policy distillation蒸馏里，老师还可以在每一步告诉你哪里对、哪里错。有这样的老师在旁边，学生当然可能超越原来的自己，学到教师的知识。只靠自己尝试、只获得最终对错反馈，就很难悟到原本分布之外的东西。

ZP：你们提到，高层抽象空间探索、curriculum、过程奖励和多轮环境交互，都可能成为突破base model能力边界的方向。在这些方向里，你们目前最看好哪些？哪一种最有可能真正突破base model boundary呢？

乐洋：目前来看，我认为高层抽象空间探索、curriculum 和多轮环境交互都具有较大潜力；相较之下，过程奖励的作用，我暂时还没有形成足够明确的判断，因为它存在容易被hack的风险，因此还没有被广泛采用。

第一，高层抽象空间探索。传统强化学习主要在 token 层面进行采样，探索效率较低；而人类解决复杂问题时，更多是在已有解法基础上不断分析、修改和迭代。AlphaEvolve 就是一个典型例子，它并非每次都从零生成，而是围绕已有方案持续优化，本质上是在解空间而非 token 空间中进行搜索。这类方法已经在算法优化、GPU 优化等具有密集反馈的任务上展现出突破 base model 能力边界的潜力。相比完整生成一条推理路径，在已有方案基础上进行局部修改，更容易获得有效反馈，也更符合高效探索的特点。

第二，curriculum。如果一道任务对 base model 来说几乎无法完成，强化学习通常难以发挥作用；但如果将任务拆解为多个难度逐步递增的阶段，使模型始终在当前能力边界附近训练，再随着能力提升不断提高任务难度，就有机会持续推动能力增长。相比固定数据集，动态 curriculum 能够持续将训练目标推向新的能力边界，而不是停留在已有能力范围内反复优化。

第三，多轮环境交互。我们此前研究的主要是纯 reasoning，而真实世界中的学习过程往往依赖持续获取外部信息，例如查阅资料、调用工具、执行实验，并根据反馈不断修正判断。Agent 的价值正在于将模型与外部环境连接起来，使模型能够突破仅依赖内部参数进行推理的限制，从而完成 Base Model 难以独立完成的任务。

04 Beyond the 80/20 Rule：Token 功能异质性的发现

ZP：高熵token往往对应“therefore”“but”“since”“let”等逻辑转折。真正的推理分叉主要发生在这些token上吗，还是也可能出现在人类难以直观理解的位置？

王慎执：并不一定。高熵 token 有一个客观的定义：当模型生成某个位置时，如果预测分布较为分散、比如存在多个概率接近的候选项，那么该位置就是高熵 token，也可以称为 forking token。高熵意味着模型在这一位置存在多种可能的选择，因此更有可能对应推理路径的分叉。

论文中的可视化结果显示，“therefore”“but”“since”等逻辑连接词确实经常具有较高熵，因此更容易被人类理解为推理分叉点。但进一步统计可以发现，高熵 token 并不局限于这类逻辑词，它同样可能出现在人类难以直观解释的位置，例如句号、空格，或某些数字 token。因此，我们可以借助逻辑连接词理解这一现象，但不能将高熵 token 简单等同于某一类词。人类的语义直觉并不一定能够准确对应模型内部的决策过程，模型真正的推理分叉位置，也未必总是符合人类的直观理解。

ZP：论文发现，只训练大约20%的高熵token，在14B、32B模型上可以优于全token的policy gradient。为什么把大量低熵token也加入训练，效果反而可能变差？

王慎执：训练前期保留了更多可能路径，后期进行exploitation时，就有机会从更大的探索空间中找到更好的路径。低熵token大多是在已经确定的方向上补全内容，对探索的贡献较小，甚至可能干扰关键位置的优化。我们目前主要有两层解释。

第一，高熵 token 更接近真正决定推理方向的分叉点，因此训练能够更加聚焦于 exploration。如果只更新高熵 token，相当于把优化集中在分叉较多的位置，在训练前期保留更多潜在推理路径，后续再进行 exploitation 时，就有机会从更大的探索空间中找到更优解。相比之下，低熵 token 更多是在既定方向上完成补全，对探索贡献有限，过多参与训练反而可能干扰关键位置的优化。

第二，从 policy gradient 的角度来看，高熵 token 往往承载更主要的更新信号，而低熵 token 虽然数量更多，但在更新信号中的占比较低。保留主要的更新信号、减少低价值更新，也可以理解为降低训练噪声，从而提升优化效率。当然，这仍然是我们目前的解释，背后可能还存在尚未揭示的机制。

我们还提出了另一种可能的机制。低熵 token 往往本身已经具有较高概率，如果一条 rollout 获得负优势，对这些高概率 token 进行统一的负向更新，只会告诉模型“不应该选择当前 token”，却没有提供“应该选择什么”的方向。结果是，低熵/高概率token上减少的概率可能被缺乏明确目标地推向其他低概率token，从而可能损害训练稳定性。相比之下，高熵 token 本身就存在多个合理候选，更新信号更直接对应“应该选择哪条推理路径”这一方向性决策。不过，这一解释目前仍属于我们的猜测，而不是已经得到充分验证的结论。

此外，虽然文章中对思维链的建模是通用的，但实验结论与 Base Model 密切相关，并不一定适用于所有模型。我们的实验主要基于 Qwen3。在这些模型上，随着模型规模增大，高熵 token 与低熵 token 的功能分工会越来越明显：高熵 token 更多负责探索和决定推理方向，低熵 token 更多负责补全和执行。对于小模型而言，这种功能分工尚不充分，只训练高熵 token 可能会影响其他能力；而在大模型中，集中优化高熵 token 更不容易损伤基础语言能力，因此收益也更加明显。

ZP：模型是在显式维护多条推理分支，还是只在概率分布层面保留了多个可能方向？另外，只保留20%的高熵token是否有些粗暴，这个比例和硬阈值会是最优方案吗？

王慎执：我们的理解是，只要高熵 token 存在，模型就在概率分布层面同时保留着多个可能的推理方向。不过，这些概率分布不一定能够一一对应为人类眼中逻辑清晰、彼此独立的推理分支。我们的核心观点是：训练时重点更新高熵 token，可以更好地保留这些潜在分支，从而提升模型的探索能力。

至于只保留 Top 20% 的高熵 token，这并不是最优方案，也不是一个精细的工程设计。这项工作的目标首先是一项学术研究，我们更希望传达一个 principle：高熵 token 更多负责决定推理方向，低熵 token 更多负责沿着既定方向完成推理。可以把它类比为在山中行走，高熵 token 决定在分岔口选择哪一条路径，低熵 token 则负责沿着高熵token选定的路径继续前进。

因此，Top 20% 更像是一种验证这一 principle 的实验设计，而不是最终的方法。如果这样一个简单的策略已经能够带来明显提升，就说明背后的原理值得进一步研究，而不是意味着 20% 这个比例或硬阈值本身就是最优解。

我们更希望把这项工作理解为一个研究起点，而不是最终的工程方案。未来可以根据不同轨迹动态决定保留多少 token，也可以结合训练阶段、模型规模和任务难度自适应调整阈值；或者不再采用硬筛选，而是为不同 token 分配不同的训练权重。事实上，已经有很多后续工作开始沿着这一思路做更细致的探索，这也进一步说明，真正重要的是 token 功能的异质性，而不是 20% 这一具体数字。

05 DLM 的 Flexibility Trap：任意顺序为何没有带来更强推理

ZP：DLM在数学上允许任意顺序生成，但论文中的主要问题发生在confidence-based decoding，也就是模型总是优先处理容易、确定的token。为什么会选择这一解码策略作为主要分析对象？与此同时，random order的覆盖率为什么低于AR呢？

倪赞林：选择研究 confidence-based decoding，并不是因为它在理论上具有特殊性，而是因为它是当前扩散语言模型中最主流、最具代表性的解码策略。 DLM 虽然允许任意顺序生成，但推理时仍然需要一种具体策略决定下一步生成哪个位置；在实际应用中，confidence-based decoding 已经成为近乎默认的选择，因此研究它的瓶颈具有较强的现实意义。

相比之下，random order面临的是另一类问题。完全随机的生成顺序会显著增加单次生成难度。例如，一道数学题刚生成第一个 token，就要求模型预测第 31 个位置，由于缺乏足够的上下文，模型很难作出合理判断。实验中我们也发现，random order有时会生成甚至语法不连贯的内容，甚至有时连数学公式中的括号都无法正确匹配，整体生成质量接近失效。由于单次样本质量过低，即使不断增加采样次数，其覆盖率最终仍低于自回归（AR）生成。

confidence-based decoding 与 random order 的问题本质上并不相同。前者能够保证较高的单次生成质量，但会优先生成高置信度、低不确定性的 token，从而不断绕开真正决定推理方向的高熵 token，最终降低不同推理路径之间的多样性；后者则恰恰相反，它保留了形式上的顺序随机性，却因为缺乏必要的上下文，使单次生成质量过低，同样难以覆盖正确解。

因此，评价一种解码策略，既不能只看单次生成质量，也不能只看覆盖率。 random order 虽然覆盖了更多生成顺序，但样本质量不足；confidence-based decoding 提高了单条样本质量，却不断强化 exploitation，使不同样本趋于一致。真正理想的解码策略，应当在保证生成质量的同时，尽可能保留推理路径的多样性。这也是任意顺序解码目前仍然面临的核心挑战。

ZP：为什么最简单的从左到右顺序，反而能成为一个非常强的基线？对于代码、形式化证明、规划或蛋白质设计等具有图结构的任务，未来表现最好的生成顺序还会是从左到右吗？

倪赞林：我们并没有认为从左到右是全局最优的生成顺序。要证明一种顺序最优，理论上需要比较所有 N! 种生成顺序，这是一个非常强的结论。我们的工作只是发现，最朴素的从左到右生成，在强化学习训练中已经能够取得非常强的效果。

它最大的意义在于提供了一个足够简单有效的 baseline。如果一种任意顺序生成方法希望证明自身具有优势，至少应该能够超过这一基线。只有建立可靠的 baseline，才能判断复杂方法是否真正带来了增益。

从左到右表现良好，还有一个现实原因。现有自然语言和数学推理数据大多采用从左到右的组织方式，模型在预训练阶段已经充分学习了这种生成模式。相比之下，任意位置填充属于更复杂的条件生成问题，部分位置甚至缺乏足够的上下文，因此性能受到影响。这说明，从左到右效果好，并不一定意味着它的理论上限最高，也可能只是与现有数据分布和预训练方式更加匹配。

不过，这一结论未必适用于所有任务。数学和自然语言推理本身具有较强的顺序先验，从左到右可能已经接近较优策略；但对于蛋白质设计这种不具备天然的线性生成顺序的任务，任意顺序生成可能拥有更大的潜力，AI for Science 中大量结构化问题，也可能成为验证这一方向价值的更合适场景。

ZP：既然绕开高熵分叉点会损害探索，为什么不让DLM优先处理高熵token？

倪赞林：因为高熵对应的“难”并不只有一种。比如，有些是有价值的难，即模型虽然不够确定，但这一位置是真正影响推理方向的关键分叉点；另一种是无意义的难，即当前位置缺少必要上下文，模型确实无法判断。

例如，一道数学题刚生成第一个 token，就要求模型预测第 31 个位置，这个位置模型同样会表现出不确定，但原因只是上下文不足，而不是存在有价值的推理分叉。

目前的问题在于，我们还无法可靠地区分这两类高熵 token。如果简单让模型优先生成所有高熵 token，它很可能先去处理那些缺乏上下文、无法正确预测的位置，反而降低整体生成质量，这也是我们实验中观察到的结果。

ZP：如果任意顺序对通用推理并没有表现出明显帮助，那么DLM相较于AR的优势是什么？除了并行解码，对已经生成的内容进行反复修改和迭代修订，会不会是一个更promising的方向？

倪赞林：目前，DLM 最主要的优势仍然是解码效率。 DLM 可以并行生成多个 token，理论上比严格逐 token 生成的 AR 更快。但随着 AR 引入 multi-token prediction 等技术，效率也在持续提升，目前领域内仍缺少真正 apples to apples 的公平比较。

DLM 的效率优势还与具体应用场景密切相关。在低并发、单用户、序列较短的场景下，DLM 可能更具优势；而在高并发场景中，AR 能够更充分利用 GPU 和 KV cache，DLM 的优势未必明显。此外，DLM 通常采用双向注意力，长序列下计算成本也不可忽视。因此，评估两者效率，不能只比较一次生成多少 token，还需要综合考虑注意力计算、缓存机制、并发能力和服务延迟等系统指标。

相比任意顺序生成本身，我认为对已生成内容进行迭代修改更值得探索。当前主流的大规模文本 DLM 多采用 mask-based discrete diffusion，序列从全 mask 开始逐步 unmask，但已经生成的 token 通常不会再次 mask 和修订，因此本质上仍接近一次生成、不再回头的过程。如果任意顺序在通用推理中的优势有限，那么允许模型反复修改和迭代修订已生成内容，可能才是 DLM 更值得挖掘的能力。

ZP：Flexibility Trap的适用边界在哪里？具体来说，哪些任务更适合AR order，哪些任务可能真正需要arbitrary order？

倪赞林：我们的实验主要覆盖数学、代码等通用推理任务，因此结论首先适用于这些场景。没有充分测试的任务包括数独、Zebra Puzzle等逻辑约束问题。这些任务的从左到右先验较弱，任意顺序可能具有原生优势。

不过，即使在这些任务上，也应该与采用成熟搜索或推理技术的AR模型进行公平比较。不能只使用最朴素、最便宜的AR基线，然后据此判断AR始终解决不了这类问题。需要验证的是任意顺序是否在AR结合成熟技术后仍然具有不可替代的优势。

ZP：DLM未来会取代AR，还是更可能走向混合架构？请三位分别做一个判断：三到五年后，主流基础模型会是AR、diffusion，还是二者的hybrid？

倪赞林：如果看三到五年，我认为语言模型仍将以 AR 为主，并逐步吸收 diffusion 或并行生成技术，形成某种 hybrid 架构。实际应用始终受到推理效率约束，并行生成在部分场景仍有价值。多模态模型可能更早走向混合形态，例如语言采用 AR，图像采用连续 diffusion。

王慎执：我也认为，未来三到五年 AR 仍将是语言模型的主流。 AR 虽然采用从左到右生成，但推理过程的逻辑本身可以结合搜索、反思和树状展开，不断迭代，因此并不意味着推理能力受限。相比 diffusion，AR 已经形成更成熟的训练体系、工程基础设施和应用生态，因此生命周期很可能更长。

未来更可能不是一种架构取代另一种架构，而是两者相互融合。 AR 可以吸收并行预测、局部修订等能力，DLM 也可以借鉴 AR 在训练、缓存和 Agent 等方面的成熟方案。最终用户感知到的，很可能是一套混合系统，而不是某一种单一建模范式。

乐洋：短期内，我同样更看好 AR。当前 DLM 的研究主要集中在问答、数学推理等相对单一的任务，而行业重点已经逐渐转向 Agent。至少目前，DLM 在 Agent 场景中的成熟工作仍然较少，与 AR 相比还有一定差距，因此短期内更难成为主流。

ZP：DLM当前最大的瓶颈是什么？

倪赞林：目前最大的瓶颈还是模型效果。在大家最关注的语言理解和推理任务上，DLM 的整体表现通常仍落后于 领先的AR模型水平。

ZP：JustGRPO提出“训练时用顺序探索，推理时用并行执行”。推理速度和推理能力能够真正解耦吗？采用顺序训练，会不会让DLM逐渐退化成一个AR模型？

倪赞林：两者不能完全解耦。提高推理速度通常会牺牲一部分推理能力，具体取决于使用场景。JustGRPO的重点不是声称速度和能力可以兼得，而是说明训练阶段与推理阶段可以采用不同策略。

顺序训练不会把DLM变成AR模型。第一，从左到右本来就是任意顺序原生支持的顺序之一。我们只是从模型支持的众多顺序中，选择一种更有利于充分探索逻辑路径的顺序进行训练。第二，我们没有改变模型架构，也没有加入因果掩码等结构约束。

实验上，顺序训练后，模型的并行推理能力没有受到明显损害；推理时重新放开任意顺序，它也不会机械地从左到右生成，仍然表现出非自回归行为。因此，这更像是用一种训练时的采样策略改善探索，而不是把模型改造成AR。

ZP：DLM更适合哪些产品或应用场景？图像和视频扩散模型本身就是通过非顺序、全局迭代的方式生成内容，你们在文本推理中得到的这些结论，能够迁移到多模态模型吗？

倪赞林：可以从效率和建模方式两个角度看。效率上，DLM不一定在所有场景都优于AR。高并发或长序列场景里，DLM需要双向注意力，计算成本较高；AR配合multi-token prediction可能更合适。低并发、单用户、序列较短时，DLM更可能体现并行解码优势。

建模能力上，DLM更适合那些没有很强从左到右先验的数据。双向或任意顺序建模能够捕捉更复杂的依赖关系，因此结构化科学任务可能比普通自然语言更合适。多模态领域实际上已经在采用混合方式，语言部分使用自回归模型，图像或视频部分使用连续扩散模型。至少目前，各模态还没有完全统一，混合架构反而是较常见、较有效的选择。

ZP：视觉或视频中的forking token可能对应什么？赞林过去在图像生成工作中研究过adaptive token generation policy，同一种flexibility进入纯文本推理后，又有什么不同？

王慎执：Forking token由预测分布的熵定义，不必与关键帧、物理状态变化等人类概念强绑定。视觉或视频生成中，只要模型在某个位置或时刻面临许多可能选择、概率分布比较分散，它就可能是一个分叉决策点。具体语义是什么，不一定有统一答案。

倪赞林：怎样利用这些分叉点取决于目标。如果偏向exploitation，优先选择高置信度内容，单次生成质量可能更好；如果偏向exploration，就应该在关键决策点保留更多可能性。训练阶段希望模型触达更多路径，因此不能让它总是绕开不确定的分叉点；推理阶段只需要生成一个高质量答案，则可以重新使用confidence-based decoding。这是一个依场景而定的权衡。

图像生成和文本推理的差别在于奖励结构。图像质量通常有较连续的反馈信号，不管采样结果怎样，模型大多能够获得某种程度的评价，因此采样策略拥有更大自由度通常是好事。在文本推理、特别是RLVR中，奖励极其稀疏，答案只有对或错；只有做对，模型才能获得正向信号。因此首先要保证能够触达足够多的正确路径。如果不加反思地使用flexibility，它可能变成一个trap：模型利用自由度避开困难分叉，导致正向样本和推理覆盖都减少。

ZP：现有GRPO、DAPO一类算法还有多大改进空间？下一个数量级的提升可能来自哪里？

王慎执：判断算法的改进空间要结合具体应用对象来看。 GRPO、DAPO 继承了传统强化学习的很多思想，理论框架和目标函数并没有发生根本变化。但强化学习算法（特别是PPO）应用于自回归语言模型后，会出现价值模型难以估计、训练显存压力大，以及默认clip配置不work等等很多新的工程和算法问题，一些传统 RL 中有效的设计，在长链语言生成中未必仍然适用，因此GRPO、DAPO以及我们的《Beyond the 80/20 Rule》等工作给出了针对性的分析和优化。

对于自回归语言模型，这类改进在过去一两年已经取得了不少进展，纯算法层面的提升空间可能相对有限。但 DLM 仍是一个较新的研究对象，具有任意顺序生成等独特性质，因此围绕 DLM 设计强化学习算法，仍然存在较大的研究空间，我们的《The Flexibility Trap》工作也是针对这一特点进行的探索。

如果说下一数量级的提升可能来自哪里，对于自回归语言模型而言，我认为未必是 policy objective 本身。 相比目标函数，数据、reward 和 rollout strategy 可能更加关键，包括如何构造与模型能力匹配的训练数据、设计不易被 hack 的奖励，以及更高效地进行探索和获取信息。《Beyond the 80/20 Rule》聚焦 token 层面的信息分配，也只是这一方向上的一次初步尝试。

ZP：关于RLVR能力边界的工作对现有RL方法提出了非常尖锐的判断，但你们的目的并不是“批评RL”。那么，真正能够突破base model能力边界的强化学习，需要具备哪些条件？

乐洋：首先要澄清，我们研究的是大语言模型中的 on-policy 强化学习，而不是对整个 RL 下结论，也不是在批评RL。我们更关注的问题是：模型经过强化学习后为什么会变强？我们的理解是，RL 的重要作用之一是提高预训练模型的采样效率，从已有分布中筛选出更符合奖励要求的模式，而不是凭空发现全新的策略。这并不是对 RL 的否定，而是对其作用机制的理解。

如果要真正突破 base model 的能力边界，我认为有多个关键方向。

第一，持续的scaleup模型的参数量。当模型变得足够大，往往会有更好的泛化性。预训练中的一些能力可能更容易被RL训练组合和泛化，以至于能解决一些之前不太能解决的问题。

第二，持续从环境中获取外部信息。模型需要像真正的科学家一样，通过实验、查阅资料和与环境交互，不断获得新的信息，而不是仅依赖内部参数。

第三，动态课程学习。训练数据应随着模型能力持续更新，始终保持在当前能力边界附近，避免模型过早收敛于某个高采样效率的 checkpoint。

第四，更强的探索机制。包括 off-policy 算法、搜索方法，以及其他算法中的探索策略，都可能带来新的突破路径。当然，这些方法在训练稳定性和计算成本上仍然存在挑战，需要进一步探索。

此外，过程奖励或者价值函数也可能发挥作用。相比最终答案的二元奖励，过程奖励和价值函数能够提供更丰富的中间反馈，但如何构造可靠的过程奖励，以及如何避免被模型利用，目前仍然是开放问题。未来真正有效的方案，很可能是将扩展规模、外部信息、动态课程、更强探索和更密集的反馈结合起来。

文章来自于微信公众号 “Z Potentials”，作者 “Z Potentials”