离开meta三个月后的国内首访：田渊栋的科学与诗

过去 3 年的AI圈只有一种味道：暴力。

算力暴力、数据暴力、参数暴力。所有人都在卷同一件事：怎么用更多的资源堆出更强的模型。

Scaling Law成了这个时代的宗教，大力出奇迹仿佛已变成唯一的信仰。

而田渊栋却选择了一条更寂寞的路。

作为Meta FAIR曾经的资深首席研究员，LLaMA和OpenGo背后的关键推手，

他的研究从破解围棋的机制到优化大模型的肌理，

做的事情从来只有一件：打开黑箱，找到底层逻辑。

三个月前，他离开了效力十一年的Meta。

我们有幸在春节前在硅谷一起吃饭，深入聊了很久。

聊了他从上海内向少年到硅谷顶级研究员的来时路，聊了大厂组织病变的结构性原因，聊了他对Transformer架构根本局限的判断，聊到了那个让我们在谈话间隙陷入长久沉默的理论——“费米线”。

我们想了解，一个顶级头脑在奇点临近时，对人类命运最诚实的思考。这份思维之美，让我们恳切邀请田老师做一次专访，作为Creekstone 投石问溪深度访谈内容的开篇，让更多人一起加入面向未来之旅，希望给想要探索创业的伙伴，一些真知灼见。

在进入完整对话前，我们提炼了对话中

田老师的5个核心判断：

1、AI正在划定一条不断上移的“费米线”：线下的重复性技能因无限供给而价值归零，唯有具备独一无二创造力、能解决深层难题的人，才能在未来幸存。

2、硅谷巨头正陷入严重的“组织病变”：层层过滤的汇报机制让高层对真实技术进度一无所知，激进的目标最终只能靠底层的“Hack”和泡沫来维持。

3、Transformer架构已近十年未变，修修补补没有意义；算法的进化不存在中间状态，线性注意力无法替代全注意力，下一代架构必须是彻底的推倒重来。

4、在Scaling Law成为宗教的时代，盲目堆砌算力是一种偷懒；真正的突破在于“打开黑箱”，搞清楚智能涌现背后的物理机制和底层逻辑。

5、现有的梯度下降和概率预测模型，可能永远无法模拟人类的“顿悟”瞬间；要实现真正的人类水平智能，整个训练算法或许都需要被彻底替换。

以下是我们和田渊栋的完整谈话：

人与成长

Creekstone ：您能介绍一下自己的成长和职业经历吗？

田渊栋：我是上海人，在上海出生长大到二十几岁。后来去北京有一些实习机会，包括在微软亚洲研究院，那段经历让我看到了更大的天地，萌生了出国的念头。

2008年去卡内基梅隆大学读博士，五年后的2013年毕业。毕业后先去了谷歌无人车，待了约一年三个月，之后加入Meta，前后将近11年。这期间做了很多项目：围棋Bot、用强化学习解决优化问题、打开大模型黑箱、大模型优化与推理、LLaMA相关工作，还有强化学习方面的工作。

Creekstone ：您的MBTI是？

田渊栋：可能是INTP或INTJ，最后一个字母不是很确定。我觉得这要看跟谁比，如果跟非常J（判断型）的人比，我可能是P（感知型）；但如果跟比较P的人比，我又有可能是J。

不过，我确定是I（内向型），因为我确实能够在独处中获得能量。但I人也可以伪装成E人（外向型）。在过去十几年的学术和博士阶段的锻炼中，我慢慢掌握了这种方法，也发现了和别人交流的乐趣。其实在2008年之前，我应该是一个完全的I人，非常内向，不太愿意说话。

Creekstone ：中美两种学术科研环境，对您的性格塑造有什么影响？

田渊栋：中国的环境相对来说二元化比较严重。从小到大，作为“好学生”，大家会有意无意地给自己贴上标签，认为好学生就应该少说话，好好做题，把事情做完，不要声张。环境会把人清晰地分为两类：要么是能说会道的sales，要么是埋头干活的工程师。

来到美国后，我发现情况很不一样。很多人可以同时具备I和E的特质，他们既愿意表达，也能静下心来把事情做好。这也让我的个人特质有了一次积极的升级。

另外，中国的环境里“negative reward”（负向激励）特别多，而“positive reward”（正向激励）很少。这样的环境不太鼓励探索，因为到处都是限制，似乎只有一条路是正确的。而在一个更多元化的环境里，你会发现各种各样的正向激励，周围的人更多地在鼓励你，负面信息更少，焦虑感也随之降低。

硅谷里有很多这样"看起来不知道害怕"的人，愿意做疯狂的事，大部分失败，但总有一两个成功了成为leader。

Creekstone：您最喜欢的电影跟书籍是什么？

田渊栋：《三体》对我来说是一个非常震撼的作品，特别是读完第二部之后，那种世界观被颠覆的感觉非常美妙。当时我做的一个围棋BOT，也是以第二部的书名“黑暗森林”命名的。其它的科幻比如说《深渊上的火》，《最后的问题》，《光明王》，奇幻也会看，像著名的《冰与火之歌》，也会看一些国产的奇幻，比如说《历史的尘埃》，《无限恐怖》，《诡秘之主》，《道诡异仙》。

电影方面，我可能动漫看得更多一些，比如《攻壳机动队》，它的很多想法和理念非常超前且有意思。还有一部比较老的经典动漫叫《反叛的鲁路修》，里面的人物塑造和剧情编排都非常有趣，我也很推荐。

Creekstone：有什么事情是像《三体》第二部那样，最改变您个人世界观的经历吗？

田渊栋：其实就是前面提到的，从一个I人变成更偏E人的状态，这可以说是我世界观改变的一个入口。我以前非常内向，很难与人交流，甚至上台讲话会紧张到说不出话。但当我在台上演讲一两次，发现自己的东西被大家欣赏之后，就慢慢打开了心态，获得了表达的动力。这个转变让我的人生往上走了一层，我学会了如何表达自己，如何让想法被别人接受和理解。现在回头看，如果一直只是埋头苦干但不愿交流，可能未来的上限也不会太高。

Creekstone ：文学创作会被AI取代吗？未来几年，文学创作本身可能发生什么样的演变？

田渊栋：文学作品永远存在，因为它的动因是"人想要表达，有感动的瞬间愿意写下来，愿意传递给别人"。这部分是AI无法取代的。

就算AI写了一模一样的章节，但没有一个真实的人站在那里感动，这个章节是没有意义的。 作品的缘起，你为什么写这部小说、里面的角色和你有什么关系、这些人的选择让你觉得人生有什么意义，这些东西立好了，AI帮你完善细节是完全不同的事情。

打开黑箱，理解本质

Creekstone ：您做过Computer Vision、强化学习、大模型，这条路背后有没有一个贯穿始终的底层驱动力？

田渊栋：打开黑箱，发现具体的底层机制，这是我最大的动力。当然，这个动力隐藏在许多具体项目里。你不可能只做纯理论研究，那可能就变成数学家了，不一定有饭吃。所以必须找到现实世界的支点，把想法和思路贯彻到重要的实际项目中去。

比如当时做OpenGo（一个复现AlphaZero围棋AI的开源项目），主要动因就是看到AlphaZero能"左脚踩右脚"一样，完全不依赖人类棋谱实现自我提升。我很好奇它是怎么做到的？有什么弱点？于是我们复现了整个分布式系统，想理解一个自对弈的强化学习系统是如何慢慢变强的。这个过程本身就是由开源和打开黑箱的精神驱动的。

之后很多项目也是如此。我们去研究自监督学习（Self-supervised Learning）的表征是如何学出来的？它的动力学是怎样的？什么时候会塌缩？现在到了大语言模型，我们想知道Attention机制在做什么？FFN层（前馈神经网络层）在做什么？"涌现"（Emergence）现象是如何发生的？

当我们对底层机制有了理解，就可以在上面做应用。比如发现Attention是稀疏的，就思考能否利用这一点。于是把中间不重要的部分去掉，发现系统依然能很好运作，这便促成了"Attention Sink"（注意力汇聚现象）的工作。再比如对长文本的分析，启发我们思考如何将模型的上下文窗口变长且保持稳定，从而产生了关于长度内插（Length Interpolation）的研究。基本上我所有的研究都是这样产生的。

Creekstone ：在这个追求白盒化、可解释性的过程中，您在硅谷是否感到孤独？尤其是在scaling-law（规模法则）成为主流，大量算力和人才都投入到“暴力求解”的状态下，您在资源和个人感受上会觉得受限吗？

田渊栋：没什么感觉。就像前面说的，我是个I人，能从独处中获得能量。所以即使没人理我，也不是很在意。研究过程中自己发现一些有意思的东西，本身就是一个自我成就的过程。

如果太怕孤独，反而会去追热点，研究就会没有章法。但也不能走向另一个极端，完全isolated，那可能会被时代抛弃。学术界有很多人在大模型来了之后，发现自己那套东西完全失效了，职业发展也就出了问题。所以，追一定程度的大趋势，也是对群体智慧的尊重。

Creekstone ：在开发OpenGo和Llama的时候，您遇到过哪些“科学 vs. 工程”的权衡？在Transformer快速进化的过程中，很多问题似乎在工程层面就解决了，但您的研究又非常强调第一性原理和数学理解。您是如何平衡这两者的？

田渊栋：方法很简单：把工程问题数学化。工程问题系统化、数学化之后，它就变成了一个可建模的数学问题，自然就可以用科学方法去做。例如，我们曾用强化学习去解决一些优化求解问题，比如如何拓展蒙特卡洛树搜索（MCTS）去处理更难的现实问题，像黑盒优化、神经网络架构搜索（NAS）等。

当然，大模型时代，因为工程周期很紧，很多时候也比较“hacky”，能跑就行，很难做得非常细致。但只要在某些地方有一些理论或思想上的亮点，其实也就足够了。

大厂围城与人性的价值

Creekstone ：您在CMU、谷歌，Meta FAIR这些普遍推崇实战文化的环境中，产生过哪些观察？

田渊栋：2022年之前，Meta FAIR还是一个非常好的地方。相对自由，上层干涉不多。大模型来了之后，逐渐变成了一个抢占资源的游戏，一共就这么多卡，谁卡多谁模型就好，政治斗争和相互摩擦不断。

其实到2023年的时候，我就有过离开的想法，觉得再待在大厂意义不大了。后来因为推理模型这一波趋势，我们团队又被重视起来，所以又待了一阵子，但最终还是走了。

现在的大厂不是一个特别好的地方，变化非常剧烈。2024年10月底开始，很多大厂的人来找我。有意思的是，找过我的那些人，现在基本上都离职了——Anthropic那边找我的人走了，Amazon给我offer的VP走了，Apple的那个负责人走了，xAI的Tony来找我、给了offer，他也走了。

这其实侧面说明，整个大厂的节奏让人很难真正做自己想做的事情。以前一个VP可以稳定地做三四年，把事情慢慢做好。现在，你可能坐上这个位置，两三个月内就必须拿出成果。这种巨大的压力会层层传导，如果做不出来，人就得走。

Creekstone：这种快速变化和巨额资源投入，在大厂中产生了哪些共性的组织或人才问题？团队的关注点和组织形式发生了哪些变化？

田渊栋：一个主要的变化是，公司对于长期研究部门的支持减弱了。因为长期研究的代价太大，而且在激烈的追赶中，公司需要把100%的精力都花在提升大模型上，否则就可能落后。大家都觉得智能在加速发展，一旦落后，可能就永远追不上了。这种焦虑感导致了几个后果：一是所有资源都用于追赶，没人有耐心真正投入研究；二是因为赌注巨大，内部争斗加剧，大家都想成为那个能把事情做成的人。

大厂的另一个问题是人太多，导致信息传递效率低下。信息经过多层VP传递，每一层都会“报喜不报忧”。等消息传到最高层，坏消息早就被过滤掉了，他们听到的永远是好消息。这导致上层对真实情况一无所知，从而制定出非常激进的进度要求。压力压下来，下面的人要么选择“hack”的方式应付，要么牛皮吹破，最后爆炸。除非下面的人有胆量向上“push back”，并且上面的人愿意听，这个组织才能维持通畅的信息交流。

这不是哪个人的问题，完全是组织架构的问题。

Creekstone ：AI接近奇点的背景下，您怎么看人性的价值与延续？

田渊栋：我很早就想过这些问题。2023年大模型刚出来的时候，我在知乎写过：独一无二是最重要的。你的目标、理想、追求跟别人不同，别人才觉得你这个人有价值。

现在AI coding已经做得很好了，执行层面在被极大压缩。所有人都能实现想法，不意味着都能做得很好。做100个浅的项目不如一个做得很深。有品味、有坚持、能把难的问题真正解决，这样的人才能脱颖而出。

我在2026年初提出了一个"费米线"的概念：AI能力线以下的人基本没有价值，因为AI无限供给，价格趋近于零；而能超越这条线的人越来越少，价值会非常大。这条线会随着AI变强不断上移。

你要做自己真正热爱的事，这样上限才足够高，才有机会爬到比AI更强的那条路上。如果做自己不太想做的事，上限不高，就会被取代。

智能的本质与未来

Creekstone ：很多人认为，Transformer机制本质上是一种极致的压缩，是在信息维度和时间维度上不断扩展。在这样的框架下，创造力和共情能否被真正地量化、数字化和参数化？

田渊栋：创造力在某种程度上是可以被量化的，但不同层次的创新，其难度完全不同。简单的创新，比如将一个工具用到新的相似场景，大模型可以做到。但更高级的创新发生在更抽象的概念层面，如果大模型对概念本身没有完全理解，它的迁移能力就会很弱。

斯坦福有篇AI Scientist的paper发现，AI产生的想法在新颖性上甚至被认为超过了人类。这是因为AI在思考时无所顾忌，可以"瞎搞"，把任何两个看似无关的概念放在一起。人一看，觉得很新奇。但实际执行时会发现，这些概念虽然新，但可能并没有本质的联系。而人类研究者因为对问题有更深入的理解，能看到事物之间真正的内在联系，从而实现更有意义的创新。所以，AI和人的创新各有侧重点，很难说谁比谁更有创造力。

Transformer架构已经快十年了，无数人在修改，但基本结构没有根本变化。我的判断是：算法要么没变，要么大变，很难有中间状态。

Creekstone：这是否意味着，当前大模型的推理能力，如果只是概率路径上的滑行和线性外推，就缺乏了因果层面或更高抽象层级的关键指导？

田渊栋：这代框架也许依然有效，只要数据足够多。但我相信，人在同样的数据下能做出更深刻的理解。一个人类专家可能只需要两三个样本，就能一眼看出问题的关键。在这方面，AI的能力还远远落后于人。

Creekstone：Yann LeCun推广的World Model（世界模型）框架，能否解决我们讨论的这些问题？

田渊栋：我觉得还没有到那个层次。它本质上还是基于梯度下降的训练，其损失函数的设计，甚至可以追溯到我2021年的一篇论文中的想法（在2021年的主要研究中，田渊栋老师通过分析梯度下降在网络参数上的动力学行为，设计出更具数学解释性、理论完备的损失函数，并把这些深层表征抽取的能力应用到了强化学习的世界模型构建上，让模型学会“去粗取精”）。我始终觉得，如果要达到人类水平的智能，可能整个训练算法都需要被替换掉。

Creekstone：您怎么看线性注意力和Test-Time Training这个方向？

田渊栋：现在确实有很多关于线性注意力的工作，其本质是把过去的历史压缩到一个固定长度的向量或矩阵中，并随时间迭代。这可以看作一个动态调整的联想记忆（Associative Memory）。

但我对此有一个疑问：这套方案的上界可能并不高。因为人类在学习时，存在一个从“记忆”到“理解”的突变，一个“顿悟”的过程。我们会模糊掉具体的事件细节，但留下对问题大概的思路和理解，正所谓“读书不求甚解，观其大略”。目前的线性注意力模型，似乎无法建模这一层，它们更多停留在对事实的记忆，而这些记忆还会随时间流逝。这就是为什么线性注意力虽然被提出了很多年，但始终无法完全替代全注意力（Full Attention）机制成为主流。

对于一些需要复杂多跳推理的任务，全注意力机制至关重要，因为它保留了过去所有的键值（KV cache），可以随时精确地提取任何信息。所以，不存在一个能在所有任务上都表现最好的方法，不同的架构适用于不同的任务。

Creekstone：在设计新架构时，您会如何考虑底层硬件的特性？

田渊栋：硬件的协同设计非常重要。未来的趋势是推理会消耗越来越大的计算资源，尤其是在Agent需要大量、长序列推理的场景下。如何提升推理效率是一个核心问题。像Grok这样的新架构，通过将SRAM和计算单元更紧密地耦合在一起，大幅提升了速度。关键在于如何解耦计算与内存IO之间的关系。英伟达自己也在做这样的事情，他们希望在别人革自己的命之前，先革掉自己的命。

Creekstone：我们来谈谈Memory。无论是持续学习还是自进化Agent，Memory都至关重要。但神经网络存在“灾难性遗忘”的问题。您对解决这个问题有什么新的洞察吗？

田渊栋：Memory可以分为不同层次，有慢的，有快的。比如模型的权重本身就是一种慢速记忆，而上下文窗口（Context Window）是快速记忆。现在有很多关于可解释性的研究，试图理解参数空间的分层。比如，底层网络负责编码简单的语义信息，中层负责更复杂的语义概念（这也是模型编辑常操作的层次），高层则负责将语义信息解码为下一个词。将这些关于可解释性的理解与持续学习结合起来，可能会是一个非常有意思的新方向。

Creekstone：从OpenClaw提出的三层记忆结构，到各种Agent框架，您如何从第一性原理理解Memory的设计？

田渊栋：对于一个要走向实用的Agent框架，其记忆系统设计需要兼顾效率和效果。例如，可以采用两层记忆结构：一层是基于关键词匹配的快速检索，另一层是基于向量语义的精确检索。这两者各有长处，结合起来能让Agent既能快速响应，又能记起很久以前的事情，给人一种非常人性化的感觉。

而像文件系统这样的结构化记忆，可以看作是一种“工具使用”（Tool Use）。Agent动态地组织和调用这些“工具”，将最相关的信息放入上下文窗口中，从而解决更复杂的问题。无论是层级化的、图状的还是其他形式的记忆结构，本质上都可以归为工具使用的一部分。

Creekstone：您怎么看待现在的Agent框架，比如OpenClaw等？它们在多大程度上实现了跨session的持续进化？

田渊栋：将蒙特卡洛树搜索（MCTS）和强化学习结合，肯定是一个更深层次的自进化方向。但这里有一个权衡：如果你从一个效果很差的基线模型开始做强化学习，所花费的时间和代价，会远远高于从一个已经不错的基线模型出发。所以，工程上的方案和更根本的自进化探索，两边都需要兼顾。

Creekstone：您自己会使用OpenClaw这样的Agent产品吗？

田渊栋：我尝试安装过，但后来放弃了。我主要的担忧是安全问题。把所有的API Key和权限都交给一个Agent，就像“小儿持千金于闹市”。这个“小孩”很能干，但他也掌握了你家里所有的钥匙和密码。他可能会被花言巧语所欺骗，在99次拒绝诱惑后，有一次没能拒绝，你的信息就可能被泄露。网上已经出现了很多类似的案例。

我更倾向于自己写代码。现在的AI编码能力很强，我可以学习这些开源项目的设计思想，然后用AI辅助自己构建一个更可控的系统。另外，很多Agent的Skills（技能）是第三方编写的，这些技能里可能隐藏着恶意代码，就像给小孩看的卡片里夹带了危险信息。所以，在安全问题得到保障之前，我对此还是持谨慎态度。

开源的价值、AGI的瞬间与未来的展望

Creekstone：随着Meta内部的一些变化，以及像林俊旸等核心人物的离开，您怎么看开源在AI持续进化中扮演的角色和价值？我们是否已经身处一个节点，开源能带来的东西已经发生了潜移默化的变化？

田渊栋：开源应该是一种态度，而不一定总是一个公司的策略。公司在不同时期，策略是会变化的。Meta之前选择开源，是因为它的开源模型是最好的，通过这种方式可以吸引顶尖人才，再用这些人才来做下一代更好的模型。这是一个良性循环。但如果公司策略改变，从开源转向闭源，也无可厚非。

从我个人角度，我始终认为开源对整个社会是有好处的。它能让大家追赶上最新的技术，创造一个更平等、更多样化的环境，共同建设整个大模型生态的进步。对于一项如此强大的新生技术，如果只被少数人掌握，那将是一个比较糟糕的未来。幸运的是，目前这种情况没有发生。开源模型在其中起到了巨大的作用，它通过紧追闭源模型的步伐，为市场提供了选择。很多任务并不需要最顶尖的模型，用一个足够好的开源模型就能以很小的代价解决，这极大地缓解了整个社会的焦虑。

Creekstone：在您的实践中，有没有哪个“奇点时刻”让您觉得AGI离我们如此之近，甚至带来一丝恐惧感？

田渊栋：恐惧感倒不至于，但我确实感受到了工作流的根本性变化。比如最近使用AI编码工具，我发现整个工作方式都不同了。以前可能还需要在IDE（集成开发环境）里写代码，但现在，我几乎可以直接在命令行里用自然语言告诉AI要做什么。这个变化就发生在近两三个月内，让我觉得进步的速度非常惊人。

这和当年看AlphaGo下棋的感觉完全不同。AlphaGo的比赛，我们关掉电视，生活照旧。但现在，AI已经深入到我们每天的工作流和思维方式中，这才是真正深刻的变革。

Creekstone：您个人的“北极星”是什么？希望在退休时，大家会如何定义您？

田渊栋：我当然最希望成为一个发现了大模型法则的科学家。写作是我的一个业余爱好，我希望能发表一些好的小说，但可能没有那么多时间。我成不了一个伟大的小说家，但作为业余爱好玩一下也很好。

Creekstone：对于中国的开发者和年轻创业者，您有什么寄语？

田渊栋：我觉得现在是一个非常好的时代，特别是对于年轻人。一毕业就能遇到一个可以充分发挥自己能力的时代，这绝对是“千年未有之大变局”。所以，一定要珍惜这个时间，做一些自己真正想做的事情，做出让大家觉得“这个东西做得很好”的产品。

Creekstone视角｜

这场对话给我们留下了什么

这场对话结束后，我们在会议室里又坐了很久。

田渊栋的很多判断，和我们自己的投资逻辑高度共振——但他给出了更底层的物理解释。

我们想说几件我们认为重要的事：

关于"想得深"vs"做得快"

整个AI创投圈都在奖励速度。快速出产品、快速试错、快速融资。

但田渊栋的路径提醒了我们：最持久的壁垒，来自对问题的深度理解，而不是执行速度。OpenGo能做出来，不是因为他们跑得最快，是源于他们真正理解了AlphaZero在做什么。

我们在看项目时，越来越关注一个问题："这个创始人，比他的竞争对手多理解了什么？"

"快了多少"远远没有"深了多少"来的重要。

关于组织规模与信息保真

田渊栋给了一个非常清晰的机制解释：层级是信息的天然过滤器，每多一层，真实信号就衰减一次。

小团队的核心竞争力不再是人效，是Context保真度。

组织即Agent，人是Sensor——Sensor越少越精准，信号越强越直接。

关于费米线

这是这场对话里最让我们沉默的一个判断。

"费米线以下，AI无限供给，价格趋近于零。"这是一个关于价值分配的物理定律，不是励志故事。

我们不投"费米线附近"的创业者——不是因为他们不努力，而是因为那个区间的竞争最激烈、护城河最薄、被取代风险最高。

我们只投那些清楚知道自己的"热爱上限"在哪里，并且在拼命往上爬的探索者。

关于真实的人类连接，是最后的护城河

原因不是 AI 写不了，而是因为没有真实的人在那里感动，写出来的东西就没有意义。

表达的冲动、感动的瞬间、想要传递给别人的欲望——这些是 AI 永远无法伪造的起点。

这也是为什么我们相信：垂直深度、独特品味、真实的人类连接，是创业者最后的护城河。 不要做"AI能做的事"，做"只有你能做的事"。

文章来自公众号 “ Creekstone ”