刚刚！Ilya首个模型曝光了

前OpenAI首席科学家Ilya，大概就是「哥已不在江湖，但江湖却到处都是哥的传说」的典型代表。

亲手缔造深度学习时代的他，离开OpenAI已两年有余。自己创办的SSI不发模型，不做产品，几乎从牌桌上消失。

可AI圈每隔一段时间，还是会有人追问同一个问题：Ilya在干嘛？

现在，这件问题突然有了一个答案。

就在刚刚，X上网友「三只草莓」（）爆料，SSI正在探索一种基于TTT（Test-Time Training，测试时训练）的小型推理引擎。

据其描述，这个模型会用专门整理的数据学习「如何学习」，再在解决问题的过程中更新部分权重。

即使模型规模不大，也足以和经过更大规模训练的模型掰手腕。

更进一步，他还在评论区表示，SSI当前版本已经准备就绪，团队正在把下一代版本的规模直接扩展10倍。

更更更关键的是，这可能不是一张「未来可期」的支票。

按照他的说法，当前版本最快这个8月就可能露面，早期将会向少数用户开放。

也就是说，如果爆料属实。SSI藏了两年的第一把剑，可能真要出鞘了。

消息出来后，不少网友已经闻到了风向变化。

有人直呼，这才开始像真正的智能；

也有人判断，只要这种路线能顺利扩大规模，其他公司将很难追上SSI。

但就在大伙已经准备迎接「Ilya王者归来」的时候，又有消息称：

这个月可能又不发了。

真真假假，假假真真～

这一次，Ilya的剑到底出不出鞘？

一把会在出手时改招的剑

老实说，Ilya离开OpenAI自立门户之后，围绕SSI的传闻已经多到满天飞。

有人质疑Ilya在深度学习历史中的真实贡献，GPT真正的父亲其实是Alec Radford；

也有人说他像梁文锋一样，转头研究量化去了。

但这一次爆料能迅速炸开，还真不只是因为「Ilya」三个字自带流量。

而是它确实碰上了几条已经公开的线索，经梳理至少有三条：

第一条，部署后持续学习，和Ilya去年11月在Dwarkesh Patel播客中表达的观点高度一致。

当时Ilya表示：「AGI」和「预训练」两个词把行业带偏了。

因为人并不是生来便掌握所有工作的通用智能，人真正依靠的是持续学习。

他设想中的超级智能，更像一个极其聪明、求知欲旺盛的15岁少年。

它懂得不算多，却能在部署之后学习编程、医学和各种工作，在一次次试错中继续成长。

在Ilya看来，SSI要造的不是一台出厂时（预训练结束后）便无所不知的机器，而是一个能够学会任何工作的心智。

这个目标带有明显的元学习色彩：模型需要掌握的不只是某项技能，还有学习新技能的方法。

Ilya虽然当时没有提到TTT，但它们指向了同一个问题：

模型能不能在部署之后，继续改变自己？

第二条线索来自英伟达。

今年7月27日，英伟达与SSI宣布长期战略合作，同时投资SSI，并向其提供下一代Vera Rubin系统。

SSI的算力将增加一个数量级，也就是约10倍，而且据路透社爆料，投资金额高达50亿美元。

关键钱和GPU还不是最重要的部分。

英伟达在公告里特意写道，SSI过去两年一直在悄悄推进一条新的研究路线。

英伟达罕见地接触到这项严密保密的研究后，决定推动它进入下一阶段。

换句话说，老黄验过牌了。至于牌是什么，他没说。

Ilya自己的表态同样耐人寻味：是时候扩大SSI了！

那……这个扩大规模，就很灵性。

Ilya，你这双眼睛究竟看到了什么？

第三条线索，是TTT本身在过去两年的进展。

最近，越来越多研究者开始尝试越过「不断扩展上下文」这条路线，寻找一种更接近持续学习的范式。

原因也很简单。因为人并不是通过把小抄越写越长来学习，更不会像《记忆碎片》里的男主一样，把遇到的每件事都纹在身上。

经历一件事之后，大脑会调整内部连接。下一次再遇到类似问题时，人已经不是上一次的自己，这也是TTT这条路线真正有意思的地方。

简单来说，TTT（Test-Time Training）就是测试时训练，它让模型不再把「训练」和「推理」彻底切开，而是在真正解决问题时，拿眼前的数据继续训练自己，再根据预测结果与目标之间的误差，调整内部状态，甚至直接更新一部分参数。

爆料中，「三只草莓」还特意提到了一篇相关的论文——

End-to-End Test-Time Training for Long Context。

简单来说，这篇论文把长上下文问题重新理解成了一个持续学习问题。

传统长上下文模型会把前文保存在上下文窗口中，每次生成新内容时，再回头查找需要的信息。

论文提出的TTT-E2E则把整段上下文当成训练数据，让模型在读取过程中继续做下一个Token预测，并把读到的信息压进自己的权重。

由此，上下文不再只是一张随时翻阅的作弊小抄，而开始变成真正改变模型本身的学习材料。

而且值得补充说明的是，TTT和最近爆火的Agent Harness、Context Engineering 有本质的不同。

后两者依靠外部上下文搭建脚手架，让模型看到更多信息、调用更多工具，但模型本身并没有改变。

TTT则更进一步，它不只是让模型看到更多、调用更多，而是让模型在解决问题的过程中，直接改变自己。

那么话又说回来了。

既然TTT不是新东西，且这么牛，为什么没有早点用起来？原因嘛，也不难猜：

因为模型一旦能在部署后修改自己，就可能学错、学偏，甚至忘掉原有能力。

2016年，微软聊天机器人Tay上线不到24小时，就在网友诱导下开始输出攻击性内容，最终被紧急下线。

Tay与TTT并非同一种技术，却很早就暴露了同一个难题：

安全。

所以，就自然有网友提问了这个问题，然后三只草莓表示Ilya已解决。

当然，这句话远远算不上证据，甚至更像一句轻飘飘的江湖传言。

但偏偏，它又绕回了SSI（Safe Superintelligence）名字里的那个S：

Safe。

如果Ilya真想造一个部署之后不断成长的超级智能，那么「让它学会学习」其实只解决了一半问题。

剩下那一半甚至更难：让它知道，什么不能学。

所有人为什么都在等他

说到这里，还有最后一个问题：

为什么一则连真实性都没法确认的匿名爆料，会让这么多人兴奋？

只因为站在山门后面的那个人，是Ilya Sutskever。

他是OpenAI联合创始人、前首席科学家，也是过去十几年深度学习最有影响力的研究者之一。

从AlexNet、Sequence-to-Sequence、AlphaGo到GPT系列，都能看到他的名字。

英伟达在这次合作公告里还特意提到，Ilya后来还主导了最终通向OpenAI o1等推理模型的研究。

换句话说，他最吓人的地方从来不是发模型多。

而是职业生涯里，几次在技术路线真正成为共识之前，就已经站到了那条路上。

也正因为如此，2024年5月离开OpenAI之后，Ilya下一步要做什么，一直是AI圈最大的谜题之一。

而离开一个月之后成立的SSI更是将神秘刻在了骨子里。

除了目标安全超级智能以外，此后两年，SSI不发模型、不做产品、不公开论文，外界甚至不知道他们具体在研究什么。

Ilya哪怕偶尔露面，也只是反复谈泛化、持续学习，以及预训练时代可能正在走向终点。

直到今年7月，英伟达在看过SSI高度保密的研究后决定加码，并帮助其将算力提升一个数量级，SSI才重回公众视野。

由此，我们再看今天这则TTT爆料，味道就不一样了。

Ilya一直在说，真正的超级智能应该能够在部署之后继续学习；

现在又有人爆料，SSI正在做一种会在推理过程中继续更新自己的模型。

当然，现在依然没有实锤。但如果这两条线最终真能对上——

那Ilya闭关两年磨的，可能真的不是又一个更大的GPT。

而是一把会在出手时，自己变招的剑。

准备好吧！

参考链接：

[1]https://x.com/i/trending/2087551605553901958

[2]https://www.youtube.com/watch?v=aR20FWCCjAs

文章来自于微信公众号 “量子位”，作者 “量子位”