离开OpenAI和Google后，两位大模型核心负责人决定卷下一代架构

曾经最相信强化学习的人之一，如今却认为：强化学习没有把我们带到 AGI。

Jerry Tworek 曾是 OpenAI 内部坚定的「强化学习最大主义者」。在 GPT-3、GPT-4 之后，他一直相信，大模型缺少的最后一块拼图就是大规模强化学习。只要把这条路线真正推到极致，剩下的问题或许都会被解决。2024 年时，他甚至判断，AGI 可能会在 2025 年到来。

后来，他真的站到了这场实验的中心。

模型一代代变强，评测分数不断上涨，复杂推理能力也迅速提升。但 Jerry 看到的另一个事实是：实验室里的进展，并没有完整转化为现实世界中的可靠能力。训练任务越来越难，模型越来越会考试，却仍然无法适应大量模糊、变化且从未被预先定义的问题。

这让他开始怀疑，问题可能不只是强化学习还不够大，而是今天的模型根本缺少一种更基础的能力：它们不会在进入真实世界后继续学习。

带着这个判断，Jerry 与 Rohan Anil 共同创办了 Core Automation。Rohan 曾是谷歌 Gemini 的预训练负责人之一，也长期研究优化算法、模型架构和底层计算系统。一个来自大规模强化学习，一个来自预训练与优化，两人的经历几乎覆盖了当前大模型的两条核心路线。

但他们决定不再沿着这两条路线继续加码。

当整个行业仍在扩大 Transformer、增加推理算力、追逐更强的编程智能体时，他们选择追问一个更根本的问题：如果模型只能在实验室中完成学习，需要人类不断收集数据、重新训练和发布新版本，它真的能够走向 AGI 吗？

在最近的一次对话中，两位创始人系统解释了他们对当前 AI 路线的判断：为什么大规模强化学习没有成为通往 AGI 的最后一块拼图？为什么从经验中学习不等于强化学习？Transformer 真正缺少的能力是什么？以及，一个能够在部署后持续学习的下一代架构，可能是什么样子？

视频地址：https://www.youtube.com/watch?v=2RJiaf0SY8s

模型一代代变强

问题却出在实验室之外

强化学习确实让模型变得更强。它提升了复杂推理和任务执行能力，也让模型能够掌握越来越多预先定义好的工作流程。

但 Jerry 逐渐意识到，训练任务和标准评测往往只是「一枚硬币的两面」：研究人员根据希望模型掌握的能力设计训练数据，再用相近的任务检验效果。只要持续训练，模型自然可以在这些指标上取得进步。

真实世界却没有如此清晰的边界。用户的问题往往更模糊，环境不断变化，不同任务还会形成训练数据中没有覆盖的新组合。即使研究团队已经很难找到足够有挑战性的训练题，也不代表模型已经覆盖了现实世界的全部复杂性。

这暴露了当前训练方式中的根本矛盾：模型在实验室里，根据预先收集的数据、设定好的环境和反馈完成训练；训练结束后，它才被部署到一个更开放、更混乱的世界。

强化学习可以让模型更好地完成研究者已经定义的任务，却无法保证它面对训练分布之外的问题时，也能自行适应。每当模型遇到新的失败，人类仍需要收集案例、补充数据，再把它送回实验室完成下一轮更新。

因此，真正承担学习工作的，依然是实验室，而不是模型自身。

强化学习没有失效，但它让缺失的那部分变得更加清晰：下一代模型不仅要在训练阶段变强，还必须在进入真实世界之后继续学习。

「学习」的第三种可能

在 Jerry 看来，当前模型最根本的问题，不是掌握的知识还不够多，而是学习几乎只发生在部署之前。

预训练负责吸收海量数据，强化学习负责塑造模型的行为方式。完成这些步骤后，模型被交到用户手中，但参数基本已经固定。此后即使外部环境发生变化，出现新的工具、代码库或任务，模型也不会像人一样在使用过程中自然更新自己。它或许可以暂时适应，却很难把这些新经验稳定地转化为长期能力。

这意味着，模型的价值始终依赖训练数据是否提前覆盖了现实需求。遇到没有见过的问题时，常见做法仍然是收集失败案例、补充数据，再由实验室重新训练。模型表面上在帮助用户完成任务，真正负责学习和更新的却仍是背后的研发团队。

现有系统并非完全没有部署后的适应能力。第一种方式是上下文学习（in-context learning）：用户把新信息写进提示词或上下文，模型便能在当前对话中利用这些信息。它不需要修改参数，也不容易造成灾难性遗忘，因此相对灵活。

但这种「学习」容量有限。上下文窗口再长，也只能保存一定数量的信息，而且内容一旦被压缩、删除或开启新会话，模型获得的经验就很难继续保留。Jerry 以编程工具为例：使用一段时间后，上下文就需要被整理或压缩。如果模型只能记住最近几十分钟发生的事情，这还不能算真正意义上的长期学习。

第二种方式是持续微调，也就是根据新数据不断更新模型参数。它看起来更接近真正的学习，却会带来另一组问题。模型在吸收新知识时，可能破坏此前已经掌握的能力，这就是灾难性遗忘；与此同时，微调往往需要大量数据和计算，无法像人类那样根据少量经验迅速调整。

因此，当前两条路径各有明显局限：上下文学习足够灵活，却难以跨越较长时间；微调能够改变模型，却不够稳定，也不够高效。研究者长期尝试解决这些问题，至今仍没有找到简单可靠的办法。

Jerry 希望寻找的是第三种可能：做元学习，把「如何学习」本身写进模型架构，让系统能够在部署过程中根据用户、数据和真实任务持续更新，同时避免轻易遗忘原有能力。

这也是他为什么把问题指向架构，而不只是训练规模。一个需要被反复送回实验室重新训练的模型，可以成为越来越强大的工具，却仍然缺少智能系统最重要的特征之一 —— 在环境中积累经验，并因此发生长期改变。

从经验中学习，不等于强化学习

如果模型需要在真实世界中持续学习，那么一个自然的问题是：强化学习能否承担这一任务？

Jerry 的判断是，强化学习很重要，但它只是「从经验中学习」的一种方式。它通常让模型在环境中尝试行动，根据结果获得奖励，再通过大量重复调整行为。围棋、星际争霸、Dota 以及如今的编程任务，都可以用这种方式训练：模型生成自己的经验，再从成功与失败中更新策略。

但当前强化学习往往依赖大量并行试验。研究者让模型在许多相似环境中同时尝试不同方案，再比较结果，以降低训练中的不确定性。这种方法能够有效利用计算资源，却与人类学习经验的方式并不完全相同。人通常无法同时进入成千上万个平行世界，也不会对每个问题都进行大规模试错。

更重要的是，人类面对不同任务时，采用的学习方式并不相同。

学习踢球时，人会反复尝试，根据球是否飞向预期方向微调动作。这种过程很接近强化学习：行动、反馈、修正，再次行动。

学习数学时，过程却完全不同。一个人可能通过阅读定义、比较概念、在头脑中反复推演，直到原本分散的信息建立起联系。这里未必存在明确的外部奖励，也不需要重复成千上万次动作，但学习同样发生了。

两种过程都属于从经验中学习，却依赖不同的机制。前者更接近试错，后者更接近理解、压缩和重组知识。Jerry 因此认为，大脑中很可能并不存在一种包办所有任务的单一学习算法，而是多种机制相互配合。

这也解释了为什么单纯扩大强化学习，未必足以解决持续学习问题。现实中的经验并不总能被整理成明确的动作、奖励和回合。有些反馈延迟严重，有些任务没有唯一正确答案，还有些学习来自观察、解释和内部思考，而不是外部奖惩。

因此，所谓「经验时代」并不只是把更多算力投入强化学习。真正的挑战，是找到更丰富、更高效的经验利用方式：模型既能从成功和失败中调整行为，也能从少量案例、新知识和长期互动中形成稳定理解。

在 Jerry 看来，今天投入到经验学习中的计算资源已经前所未有，但强化学习不会是这条路线的终点。下一步的突破，可能来自一种更广义的学习算法 —— 它不再要求所有经验都被转化为标准奖励，而是能够根据经验本身的结构，选择合适的方式吸收它。

下一代 AI 架构需要具备什么能力

在 Core Automation 看来，下一代架构不必彻底抛弃 Transformer，但必须解决 Transformer 没有解决的问题。

其中最重要的一项，是把学习从一次性的训练过程，变成系统自身长期运行的一部分。模型需要能够在部署后吸收新信息，根据用户和环境调整能力，并把短期经验转化为长期变化。它不能只依赖有限的上下文，也不能每次学习新任务都回到实验室重新微调。

这种学习还必须足够稳定。系统既要掌握新知识，又不能轻易破坏原有能力；既要从长期互动中积累经验，也要能从少量数据中快速更新。如果每次调整都需要海量样本和计算，持续学习就很难真正发生在现实环境中。

Jerry 因此提出，研究者可能需要在架构层面表达「学习如何发生」。这意味着模型不只包含已经学到的知识，还应包含一种能够处理新经验的内部机制。它需要决定哪些信息值得保留，如何与既有知识建立联系，以及何时改变原来的行为方式。

Rohan 则从计算效率的角度补充了另一项要求：新架构必须把预训练和强化学习作为一个整体来设计。

目前的训练流程通常是先用预训练构建基础模型，再通过强化学习增加推理与任务执行能力。但两者的优化目标和计算方式并不相同。预训练擅长利用大批量数据进行并行计算，强化学习则需要生成轨迹、比较结果，训练方差更高。简单地把两者前后拼接，并不一定是最有效的方案。

因此，下一代架构不能只在预训练指标上表现优秀。研究者需要从最终任务出发，考虑模型如何建立知识基础、如何分配推理计算，以及如何通过经验继续学习。训练算法、模型架构和底层硬件也不能彼此割裂。

Rohan 强调，一个理论上优越、却无法在现实硬件上高效运行的架构没有实际价值。从研究构想，到训练方法、计算内核和生产部署，需要形成完整的端到端体系。Core Automation 为此把架构、优化和系统工程人员放在同一支团队中，希望避免不同环节被组织边界切割。

从这个角度看，他们寻找的并不是一个单独的新模块，而是一套新的计算与学习方式：它能够持续适应，更高效地利用数据和算力，并在真实世界中长期运行。

Transformer 的另一个瓶颈：

计算深度

除了无法持续学习，Rohan 认为 Transformer 还有一个容易被忽略的问题：计算深度不足。

这里的「深度」，并不只是模型拥有多少参数，而是输入信息在产生答案之前，能够经历多少步连续计算。当前 Transformer 虽然被称为深度学习模型，但通常只有数十层到一百层左右。信息通过固定数量的网络层后，模型便需要开始输出结果。

这种结构非常适合并行训练，却限制了模型在单次前向计算中完成复杂推演的能力。面对需要多步思考的问题，模型无法随意增加内部计算，只能依赖固定的网络深度。

近年来，思维链和推理时扩展部分绕开了这一限制。模型不再立即给出答案，而是先生成一系列中间步骤。每增加一个词元，就相当于增加了一轮新的计算，模型因此可以在更长的路径上逐步处理问题。强化学习则可以进一步训练模型，让它学会何时进行更长的推理。

但这种方法的代价十分明显：模型必须一个 token 接一个 token 地生成思考过程。答案越难，生成的内容越长，推理所需的时间和成本也越高。

Rohan 把这种现象视为一种架构补丁。预训练阶段提供的固定计算深度不够，强化学习便通过生成更多 token 来追加计算。业界随后又通过推测解码等技术提高生成速度，但这些优化没有改变自回归模型一次生成一个 token 的基本方式。

因此，问题不只是如何让 Transformer 生成得更快，而是能否设计一种架构，用更少的步骤完成更深的计算。模型也许可以在内部并行探索多个方向，动态决定需要多少计算，或者以不同于文本生成的形式组织推理过程。

在 Rohan 看来，仅仅提出「如何增加计算深度」这个问题，就会打开许多新的研究方向。Transformer 高效解决了如何扩大模型宽度和数据规模的问题，但下一阶段的突破，可能取决于系统能否更灵活、更高效地进行深层计算。

Transformer 还有多少提升空间？

认为 Transformer 不是终点，并不意味着它已经无法继续进步。

Jerry 认为，预训练仍然可以把更多知识、关系和模式压缩进模型，强化学习也可以继续加入新的工作流程。只要某项任务能够被明确描述，并获得足够的训练数据，它就有机会被写入 Transformer。模型可以继续扩大，训练数据可以继续增加，推理阶段也可以投入更多计算。

因此，Transformer 的能力上限仍然很高。它可能覆盖越来越多知识型工作，并通过工具调用和智能体系统完成更复杂的流程。

但这种提升具有明确边界：模型擅长掌握已经进入训练过程的能力，却不会自动适应训练完成后出现的变化。即使研究机构能够记录大量人类任务，并把它们全部加入训练环境，现实世界仍会继续变化。新的软件、新的规则和新的需求不断出现，静态模型的知识和工作方式也会随之老化。

换言之，Transformer 的上限并不是某一天突然停止提高，而是它越来越依赖一个外部更新循环。模型发现不了自己的全部缺陷，也无法独立收集所需经验、修改训练过程并验证新能力。研究机构必须不断训练新版本，才能让系统跟上世界。

经济因素会让这条路线继续维持相当长时间。Transformer 不仅性能强，而且已经证明了商业价值：训练模型的成本可以通过产品收入获得回报。相比之下，其他架构即使理论上可行，也未必能以同样的成本产生足够好的产品。

现有架构也仍有大量工程优化空间。稀疏化、混合专家模型、推测解码和更高效的推理系统，都能降低训练或部署成本。更多算力和数据也会继续带来改进。

所以，Core Automation 的观点并不是 Transformer 即将失效，而是单纯扩大 Transformer，最终只能把现有范式推得更远。它可以成为覆盖广泛的强大工具，却很难仅凭规模增长获得部署后的自主学习能力。

Transformer 还能走多远，取决于人类愿意投入多少训练数据、算力和工程资源；而 AGI 能否出现，则取决于模型能否逐渐摆脱对这套外部更新机制的依赖。

为什么离开大模型公司创业？

如果新架构需要大量算力和完整的工程体系，最自然的研究地点似乎应该是资源雄厚的大模型公司。

Jerry 却认为，当前恰恰是独立创业更适合探索替代路线的时刻。

原因首先来自市场竞争。头部实验室正围绕模型发布速度、产品能力和用户规模展开激烈竞争。Transformer 已经被证明能够持续改善，也能够产生收入，因此企业最合理的短期选择，是继续扩大现有路线，以保证下一个季度或下一轮发布不落后。

在这种环境下，一项可能需要一年甚至更久、结果并不确定的架构研究，很难获得同等优先级。即使研究人员认可某个方向值得探索，他们仍然需要先完成下一代模型的训练和发布。

规模较小的实验室也会受到头部公司的影响。当领先者集中开发推理模型和编程智能体时，其他团队往往选择跟随已经被验证的方向，而不是承担开辟新路线的风险。结果是整个行业拥有大量竞争者，却可能都在解决相似的问题、发布相似的产品。

Core Automation 希望填补的正是这一空缺：集中研究短期内未必占优，却可能重新定义模型能力边界的方向。

Rohan 的创业动机还包括组织方式。他认为，新架构不能只停留在论文或小规模实验中，还必须在真实硬件上高效运行。这要求架构研究、优化算法、训练系统和底层计算内核同时推进。

大公司拥有完整资源，但团队往往被划分到不同部门，各自围绕既定目标和发布周期工作。创业公司规模更小，却可以从一开始就按照端到端研究的需求组建团队，让不同专业背景的人共同面对同一个问题。

他们的选择不是否定大实验室的能力，而是判断不同组织适合承担不同类型的研究。头部公司继续把 Transformer 推向更大规模，而独立实验室则有空间押注尚未被验证的替代方案。

对 Core Automation 而言，创业本身也是一种研究设计：通过更小的团队、更短的决策链和不同的优先级，为长期架构探索创造生存空间。

Core Automation 如何打造自动化 AI 实验室？

Core Automation 的另一项核心目标，是建设高度自动化的 AI 实验室。

这里的自动化并不意味着立即把研究人员移出流程。Jerry 更愿意把它理解为扩大每个人的行动能力：步行、骑车和开车都需要人决定方向，但工具不同，一个人在相同时间内能够到达的距离也完全不同。

AI 研究同样如此。过去，研究人员提出一个想法后，需要亲自编写代码、配置实验、处理错误、分析结果，再设计下一轮尝试。许多时间消耗在执行环节，而不是判断哪些问题值得研究。

随着编程智能体和研究智能体的发展，一个研究者可以同时推进更多任务。智能体能够生成代码、运行实验、整理数据和协助排查问题，人类则把更多精力放在提出假设、解释结果和调整研究方向上。Core Automation 希望围绕这种新工作方式，从头设计研究流程，而不是简单地把智能体塞进旧有组织。

自动化带来的关键变化，是提高实验迭代速度。架构研究通常包含巨大的搜索空间：每个计算模块、训练方法和系统设计都可能存在多种选择。单次实验未必能说明问题，真正决定进展速度的是团队能够多快完成「提出想法 — 执行实验 — 获得结果 — 形成新假设」的循环。

Jerry 提到，即使每天能够稳定完成一个有效的架构实验，速度也已经相当可观。未来如果能提高到每天十个甚至数百个实验，研究过程就会更接近大规模搜索与优化。团队可以快速淘汰无效方向，把资源集中到表现更好的方案上。

这种实验室需要的不只是一个通用聊天机器人，而是一套能够理解代码库、管理算力、追踪实验、比较结果并延续任务的智能体系统。它还需要完整的自动化基础设施，让实验结果能够直接进入下一轮研究。

Core Automation 本身也被视为一项组织实验：一个由智能体和自动化流程深度支撑的小团队，究竟能完成过去多大规模的研究工作？

他们并不期待短期内让 AI 独立完成所有科学发现。现阶段的目标，是让每名研究人员拥有更大的研究杠杆，从而在有限团队和算力条件下探索更多架构方向。

自动化实验室既是他们提高研发效率的方法，也与其技术路线形成呼应。团队试图让研究流程具备更强的持续学习能力，同时也在寻找能够让模型自身持续学习的架构。

他们如何定义 AGI

关于 AGI，业界常见的一种定义是：一个能够在大多数具有经济价值的工作中超越人类的系统。

Jerry 认为，这个定义仍然遗漏了一个关键问题：如果人类停止训练新模型，系统还能否维持并扩大自己的能力？

一套模型即使能够完成大量工作，只要它仍然依赖人类收集数据、设计训练任务、修复缺陷并发布新版本，就还没有脱离人类主导的改进循环。它可能是极其强大的自动化工具，却不一定具备真正的通用学习能力。

Jerry 给出的标准更加严格：AGI 应该能够在没有人类参与的情况下改进自身。

这个定义与「完成经济活动」并不冲突。训练和改进 AI 模型本身就是一项复杂且有经济价值的工作。如果一个系统能够胜任广泛的人类工作，却无法承担改进智能系统这项工作，那么它的通用性仍然存在缺口。

目前表现最好的形态，仍然是人类与大模型的组合。模型负责生成、搜索和执行，人类负责设定目标、判断结果、发现错误并调整方向。这种协作已经能够创造很高价值，但在许多任务中，一旦移除人类，系统的可靠性便会明显下降。

Jerry 表示，至少从他在 2024 年和 2025 年初观察到的情况看，继续沿着现有路线扩大模型，并不会自然消除人类在循环中的作用。模型可以变得更有用，却不会因此自动获得长期学习和自我改进的能力。

因此，Core Automation 所追求的 AGI，不只是一个知识更多、推理更强的模型，而是一个能够观察自身表现、从真实环境中获得经验，并持续改变自己的系统。

按照这一标准，AGI 的到来不会只由某项评测分数宣布。更明确的信号是：系统开始承担过去由人类研究人员完成的改进循环，而且即使没有实验室持续为它准备下一轮训练，它仍能适应变化、发现不足并获得新的能力。

文章来自于"机器之心"，作者 "机器之心编辑部"。