“我无法将 AI 的能力与一成不变的经济模式调和！”
“AI 公司正在建造相当于核电站的东西，我对我正在建造的技术感到恐惧。”
“RSI 模式下，人类将处于比今天大上百倍的经济体顶端。”
被主持人称为“硅谷最成功的两位英国人之一”，Anthropic 联合创始人 Jack Clark 又录了一场播客！
在这场播客中，主持人提出一个非常有意思的话题：AI 领域最著名六位代表人物都经历了一段旅程，每个人都指着另一个人说：“我们觉得你太鲁莽了，不够安全。”
埃隆·马斯克因为和 Larry Page（谷歌创始人）、Demis Hassabis 的一次谈话被吓到了，他觉得他们对安全性不够关心，于是他和 Sam Altman 一起创立了 OpenAI。
接着故事演变成埃隆·马斯克开始对 Sam Altman 的所作所为感到担忧。再然后，故事又变成了 Dario Amodei、你的朋友以及你本人，因为对安全的担忧而离开了 OpenAI。
Jack 的回答则是从新的角度：“我不会说这是因为我们在宣称‘你们的方法绝对是错的’。更多的是，我们有一种我们认为会微妙不同的方法，并且我们希望以尽可能纯粹的方式去运行这个实验。 于是，就成立了一家新公司。”
第二，Jack 给出了一个判断：AI 领域踩死油门不踩刹车的时代，可能正在成为历史！
“我必须赶在另一个人之前到达终点”的 AI 竞赛正在变成需要协作的时代！Jack 认为在2028年底，有 60%的概率能与中国达成协同。并赞同主持人表达的观点：“相比于国际间的合作，更难协同合作的是硅谷那群人！”
第三，主持人提出了一个假设：前沿大模型沦为美国私产怎么办？
Jack 的应对是税收：“这种情况是有可能发生的。但是，在地理位置分布在美国之外的企业，在针对性的税收形式上，必定有某种方式可以直接针对这一点进行调节。”
包括我们在内的这些公司，其计算机将遍布世界各地。而这些计算机所在的节点，正是大量经济活动发生的地方。在针对性的税收形式上，必定有某种方式可以直接针对这一点进行调节。我不是税务专家，不冒称自己有答案。
我只是说一个基本的直觉，那是改变你方经济的根源所在，它是有实体的，并且在地理上分布在美国境外，你们当然可以针对这一点采取措施。
第四，Mythos 在网络安全方面也跨越了某个难以预测的临界点，而在未来的某个时间点，像这样的系统将会扩散，世界上黑客技能的整体“水平面”会因为这些系统而普遍升高。
“防御者必须每一次都是对的，而攻击者只需要对一次！”
面对这种网络攻击的难题，Anthropic 的做法就是给防御者争取时间！这意味着要找到办法，将这些系统释放给你能掌控的机构，我管这叫“从小圈子组织开始，然后尝试随着时间的推移不断扩大这个圈子”。
一年内可能将出现与Mythos同等能力的开源模型，在 Jack 看来，最终的计算机安全看起来更像是人体内的白细胞。
第五，在目前没有强制监管的情况下，难道要赌 Gemini、OpenAI、Grok 都是好人？他们意识到自己手里有这个东西，然后选择不公开释放它。
Jack 的观点是：“出台监管政策，但不能因为危险就阻止发展”。
应该出台一些监管政策，规定“你无权自己选择是否释放一颗核弹”。但同样，也不希望出台一种会阻碍“核能发电”这部分利益的监管，否则我们就会重蹈人类在 70 年代对核能问题过度反应的覆辙。
第六，我们真的有选择吗？有人认为，我们在某种程度上必须做这件事，是因为技术资本家们想要让我们允许。
“这其中必然存在某些路径，看起来更像是我们允许逐步实现的、阶梯式的技术获取渠道。” 在“个体自由”和“安全性”之间存在某些路径，能够让我们阶梯式实现！
第七，看到 Jack 写的一篇关于递归自我改进的文章：AI 能够提升它自己。主持人调侃：目前 AI 的进步瓶颈卡在 Jack 那些非常聪明的同事以及他们的同行身上，他们需要不断想出绝妙的点子，不断改进机器。
在 Jack看来，“我无法将 AI 的能力与一成不变的经济模式调和！RSI 模式下，人类将处于比今天大上百倍的经济体顶端”，但现在应届生新手村将会很难。
当然，除了上述内容，还有更多硬核的观点“我们教会了沙子去思考”、“AI 信任该怎么在国际间实现”等！
全文就在下面！
主持人：Anthropic 是全球围绕 AI 领域规模最大、成长最快的公司之一。许多人接触过的产品是 Claude，但他们也发布了 Mythos。Jack 是与 Dario Amodei 共同创立公司的联合创始人之一，我们今天非常幸运能邀请到他。而且在硅谷巨头圈子里相当罕见的是，他本人是英国人。所以，欢迎你，感谢你的加入。
Jack Clark：非常感谢。能上英国的播客真是太棒了。
主持人：我觉得还是值得提一下：可以说在硅谷历史上最成功的两位英国人，一位是 Jack Clark，有史以来成长最快公司的联合创始人，另一位是 Mike Moritz 红杉资本的合伙人，也是谷歌等众多公司的早期投资者。不过 Mike 现在不在硅谷，他就住在英国。你们两位都曾接受过记者的专业训练，这是巧合吗？
Jack Clark：我更愿意认为，拥有记者的思维方式意味着你会提出许多不寻常的问题。你受过提问的训练，受过保持怀疑的训练。我一直发现，在我过去指导技术团队去提一些“打破常规”的问题时，很大程度上得益于我的记者背景，因为记者的本能就是试图找出哪些才是真正有价值的问题。比如在 Anthropic 成立初期，我问过“AI 能否制造生物武器？”，然后我们为此组建了一个团队；现在我正带领着一个经济学家团队，研究“AI，或者说未来可能非常强大的 AI 系统，会给经济带来什么冲击”。我认为，仅仅是通过提出这些问题，你就有可能得到一些很好的答案。
主持人：当你跳槽去 OpenAI 工作时，会觉得奇怪吗？还是说在那时已经觉得顺理成章了？
Jack Clark：当时感觉完全是不可思议的。你加入了 OpenAI，还记得第一天和 Greg Brockman 以及 Ilya Sutskever 聊天，我们还在琢磨整个工作到底要干嘛。加入 OpenAI 后不久，我对 Greg Brockman 说：“我觉得我直接去华盛顿特区做政策工作吧。”于是我就坐上了去华盛顿的飞机，当时我根本不知道怎么做政策，但我认定这在未来会极其重要。
主持人：当时的 OpenAI 规模有多大？
Jack Clark：我是前 25 或 30 名员工之一。如果我没记错的话，Dario Amodei 比我早到一两个月，我当时面试时他就在我的面试官轮次里。
主持人：那当时是什么感觉？那家公司是什么样子的？是什么吸引了你？
Jack Clark：我当时一直在读所有这些 AI 研究论文，当 OpenAI 宣布成立时，我很难用语言来形容那个团队的阵容有多么不可思议，他们在圈内有多么赫赫有名。当然，对于没关注这个领域的人来说并不出名。我当时对彭博社的同事们说：“天哪，他们把 Ilya Sutskever 挖过去了！”结果大家都愣愣地看着我。我又说：“哦，还有达 Dario Amodei 和 Greg Brockman！”根本没人知道这些人是谁。他们唯一知道的只有 Sam Altman，因为他当时已经小有名气了。
主持人：在另一个层面上，肯定有很多人非常嫉妒你。因为可以预见的是，硅谷也充满了成千上万的年轻男女，他们拼了命地想在下一家万亿级公司初创阶段分一杯羹。
Jack Clark：我觉得即使在当时，这件事也并不广为人知。当时有一群非常可爱但边缘化的“怪人”和“不合群者”，他们坚信 AI 未来会发生变革。但起初在硅谷，这甚至算不上什么高地位或出名的事。
主持人：而且事实上，你当时是在与已经非常成熟的 DeepMind 竞争。DeepMind 那时已经被谷歌收购了，对吧？
Jack Clark：是的。
主持人：一旦大家看清运行这些东西的成本极其高昂，那么“在谷歌已经拥有 DeepMind 的情况下，你到底打算如何再去建立另一个实验室，以及你打算从哪里弄到钱”，这显然很快就成了一个问题。
Jack Clark：确实如此。OpenAI 宣布成立时，获得了来自埃隆·马斯克和其他人的 10 亿美元投资承诺。然而当我到了那里，你会发现其实根本没有计划。你会想：“我们要如何去建造通用人工智能？”没人知道，因为当时谁也没有头绪。那时甚至还没有语言模型。
Jack Clark：当时在公司里运行着一系列令人惊叹的实验，这些实验基本上都是围绕着“野心”展开的。比如：我们能否训练一个能在复杂的电子游戏中击败人类的 AI 系统？我们能否训练一个 AI 系统去操作机械手臂？我们能否训练一个 AI 系统使其最终能够生成文本？
现在看来，最后一个实验被证明极其重要。但其他所有的项目也都同样重要，因为它们让整个组织能够持续去挑战那些看起来大胆得近乎荒谬、令人难以置信的宏大目标。而且通过努力实现这些目标，建造了前所未有的更大型系统来解决问题，开发出了过去不曾存在的底层架构，遇到了在规模前沿上此前从未有人遇到过的 Bug。
同时，我们也开始积累这样一种认知：每次在这类离谱的挑战中向这些系统投入更多算力时，它们就会变得更好。因此，你开始培养出一种极其重要的直觉：我们提升 AI 系统性能的方式，不仅仅是通过人类研究员提出的点子，更是通过给它们的训练分配更多的算力。这被证明是随后发生的一切中最重要的核心洞察之一。
主持人：这里可能值得花一分钟聊聊，Dario Amodei 在去 OpenAI 工作之前，就已经做过了关于“AI 安全具体问题”的研究。如果我们回顾 OpenAI 成立时的背景，它其实在很大程度上是围绕着安全性展开的。最近因为埃隆·马斯克与 OpenAI 之间史诗级的法律诉讼，我们看到了很多当年的创始邮件和文件，其中有一个核心点就是：“我们不希望 Demis 来控制这项技术。”当然直到今天，Anthropic 依然将自己定义为一家“AI 安全研究公司”。你想聊聊这个想法在 OpenAI 和 Anthropic 的创立历程中有多重要吗？
Jack Clark：严肃对待 AI 系统的安全性，需要你在脑海中预估它们未来可能会变得多么强大。我认为，这种“不把技术仅仅看作眼前的样子，而是预见到它会发展得极快、变得先进得多”的观念，一方面在推动研究议程方面起到了重要作用。因为如果你相信未来会发生某种规模上的质变，你就会制定完全不同的研究规划；但另一方面，安全性最终也与我们部署这项技术的能力高度绑定。
你要知道，随着技术变得越来越强大，它向社会的部署就会受到限制。比如，如果它很擅长黑客攻击，你如何确保既能部署它好的编程能力，又不会部署黑客攻击能力？如果它擅长生物学研究，你如何阻止生物武器能力的扩散，同时又允许有益的生物学研究正常开展？这些都是非常微妙的问题，它们驱动着极其复杂的科研路线。因此，我认为思考安全性能够让你去设想那种技术乐观主义版本的未来。
主持人：从外界来看，感觉有点像是：埃隆·马斯克因为和 Larry Page（谷歌创始人）、Demis Hassabis的一次谈话被吓到了，他觉得他们对安全性不够关心，于是他和 Sam Altman 一起创立了 OpenAI。接着故事演变成埃隆·马斯克开始对 Sam Altman 的所作所为感到担忧。
再然后，故事又变成了 Dario Amodei、你的朋友以及你本人，因为对安全的担忧而离开了 OpenAI。所以现在我们面临的局面是：感觉 AI 领域最著名六位代表人物都经历了这样一段旅程，每个人都指着另一个人说：“我们觉得你太鲁莽了，不够安全。”
Jack Clark：我倒更愿意这样看：这个世界最棒的地方在于你可以进行一系列不同的实验。我把所有这些都看作是“组织层面的实验”。在一家大型科技公司内部，已经有一个组织在尝试建造 AI；还有另一个组织最初是以非营利组织起家，然后为了资本需求转化为某种营利性实体，也就是 OpenAI。
而在一起共事了几年之后，我想我们意识到，对于如何建立一个以安全为核心的组织，我们有自己独特的愿景。我们非常强烈地感觉到，在这一领域开展另一个实验的时机就是 2020 年。因为在 2020 年，你就能感受到建造 AI 的整个工程未来将会变得多么昂贵。OpenAI 在 2016 年带着 10 亿美元启动，而你坐在那里会想：“四年过去了，我们还需要海量的资金才能做到这件事。”所以你必须在那个时候行动。
但我不会说这是因为我们在宣称“你们的方法绝对是错的”。更多的是，“我们有一种我们认为会微妙不同的方法，并且我们希望以尽可能纯粹的方式去运行这个实验。” 于是，就成立了一家新公司。
主持人：我想提出一点质疑。我们一直听到的一件事就是“安全”。我的意思是，这显然是驱使埃隆·马斯克在 2016 年行动的原因，他担心 Demis Hassabis 的系统不够安全。接着，人们又开始焦虑 OpenAI 不够安全。所以这其中存在着某种现象，当我问他们“你们为什么要冒这些风险，或者为什么要以这种速度前进？”时，得到的回答往往是：“好吧，我必须赶在另一个人之前到达终点。”而那“另一个人”，往往是他们十年前的朋友。他们会说：“我必须比他们先到，因为他们非常危险，除非我的模型走在他们前面，否则我们就会有麻烦。”
Jack Clark：我的意思是，过去确实曾有一个时代，你希望在不同的组织设计、不同的研究议程上运行一系列不同的实验。那个时代已经过去了。我认为我们正在进入一个你实际上需要进行协调的时代，包括政府之间的协调。中国和美国最近在高层峰会上讨论了 AI，这很棒。但同时，你也必须将公司、政府和社会的其他部分聚集在一起来探讨这个问题。因为那种一味地“油门踩死、不踩刹车”的时代，可能正在成为历史。把这种状态维持下去是不可持续的，我们必须设法强推一场更广泛的讨论：我们想用这项技术做什么，以及我们希望它如何被开发。
主持人：所以，如果你要为这个世界在应对这件事上的表现写一份成绩单，你会得出什么结论？
Jack Clark：现在我们有了英国的 AC，正在对来自两家不同公司的 Mythos 和 GPT 5.5 进行网络安全挑战评估，而这些测试是 AC 与英国情报部门合作构建的。
备注：AC 就是 AI 安全研究所（AI Security Institute）。
Jack Clark：AC 构建了网络安全测试，而我们两家公司此前都没有见过这些测试。我们的技术人员相信 AC 构建的这些测试的合理性，因为我们信任那里的人才。AC 构建了一套让全球政府在应对网络风险时都能信任的测试，因为它不是由某家公司构建的，而是由他们对我们的系统进行公正的测试。
如果你在 2020 年对我说：“我们将在英国政府内部建立一个全新的职能部门，对有史以来建造的最强大的前沿 AI 系统进行测试，而且他们会发明自己的测试方法，而不是沿用公司提供的方法，并且这些测试会比公司自己做的更好。”那我一定会说这不可能，政府绝不可能建立起这样的职能。然而，它确实做到了，而且这种职能正在全球各个国家被复制，美国也正在复制它。
主持人：好吧。但是 Jack，我们现在面临的问题是，AC 并不是 Demis 在你采访他时所梦想的那个“联合国”。它实际上是自愿性质的，而且它是英国政府，英国政府并不是美国政府。有一点你说得对，当你在表现得乐观时，你会说：“美中两方能讨论 AI 安全难道不是很棒吗？”但全球经济的 50%，并没有真正切入 AI 安全。所以，如果全球 50% 的经济体都不参与其中，那么即使英国在这些事情上单枪匹马、奋勇向前，最终似乎也无关紧要。那我们该怎么推进这件事呢？
Jack Clark：你如何去信任一架在另一个国家起飞的飞机，那个国家拥有与你完全不同的治理体系和监管制度？这是因为我们在航空安全和测试机构上拥有共同的标准，这些标准存在于每个不同的国家，有时甚至存在于区域层面。现在，像英国 AC 这样在其他国家都已有对应探索的机构，恰恰就是确立“标准应该是什么样”的雏形。但这不能涵盖一切，对于一些更大的风险，将需要国家之间的协作。
主持人：那我们现在应该转向网络领域吗？因为这正发生着，而且显然 Anthropic 在这个话题上已经上了新闻。所以，你能为那 2% 还没在新闻上看到铺天盖地报道的听众，花 30 秒介绍一下 Mythos 吗？
Jack Clark：Anthropic 最近训练了一个名为 Mythos 的模型。它是一个标准的 AI 模型，使用的是标准技术，和那些其他前沿实验室所使用的是一样的。它在很大范围的技能上都非常非常擅长，包括网络攻击和网络防御的各个方面，它是一个通用模型。
主持人：它应该也很擅长写莎士比亚风格的作品。
Jack Clark：它非常擅长创意写作，非常擅长写代码，非常擅长生物学。这就类似于几个月前，AI 系统在写代码方面变得足够好，以至于突然之间海量的程序员开始使用它们。它在网络安全方面也跨越了某个难以预测的临界点，达到了足够好的水平，以至于从专家的角度来看，它开始变得非常有意思了。
主持人：再次向大家解释一下，你所说的“网络（能力）”是指发起网络攻击、网络犯罪的能力吗？
Jack Clark：我是指在像 Firefox、Windows 或你的 iPhone 这样的软件中寻找 Bug 并侵入其中的能力，而这正是实施黑客攻击或网络犯罪的核心要素。
主持人：你能多聊一点吗？因为显而易见，我们已经生活在这个世界里了。这不再是一个未来可能发生的事情，它已经在这里了，而且 Anthropic 已经不得不做出一些关于如何应对它的决定。其中之一就是这种“结构化访问”，我不知道你是怎么描述它的。
Jack Clark：我们目前正在运行一个实验，探讨你该如何处理具备这种能力的系统，并尝试以一种“防御主导”的方式将它们融入世界。因为现在我们知道这个系统已经存在，在未来的某个时间点，像这样的系统将会扩散，许多人都会训练它们。世界上黑客技能的整体“水平面”会因为这些系统而普遍升高。
主持人：为了便于理解，这其中大概包含两件截然不同的事情：第一，这东西会比人类更擅长寻找 Bug 或进入你系统的后门；第二，它大概可以非常迅速地发起攻击，并对防御做出极快的响应。所以，不再是一个老哥坐在自家的后院里尝试、失败然后再次尝试，这东西可以生成成千上万次这样的攻击，并且一直在学习。
Jack Clark：所以这里面包含着一个惊人的机遇，对吧？你现在拥有的系统，可以把它转向世界上最重要的软件，并让它去寻找其中的 Bug。事实上，它在广泛使用的软件中发现数以千计 Bug 的速度，远远超过了这些组织过去发现的速度，因为我们已经与摩根大通、微软等第三方分享了这一系统。
主持人：好，再次抱歉我总是打断，我只是想让听众能跟上节奏。我们在两年前被告知：“别担心这个，因为在网络攻击能力提升的同时，网络防御能力也会随之提升。”
Jack Clark：我的意思是，网络攻击的问题在于，防御者必须每一次都是对的，而攻击者只需要对一次。所以这些东西之间根本不存在什么对称关系，它们是极度不对称的。
因此，我们正在努力做的很多事情就是去琢磨：随着这些能力的到来，你如何给防御者提供优势？你能做的主要事情就是给他们争取时间。这意味着要找到办法，将这些系统释放给你能掌控的机构，我管这叫“从小圈子组织开始，然后尝试随着时间的推移不断扩大这个圈子”。今天，我们的小圈子组织就包括能够访问 Mythos 的 Glasswing。我们的目标是逐步扩大这个圈子，让他们能够利用这一点来提升全球的防御姿态，并直观地掌握如何利用 AI 系统来改变网络防御。
主持人：从能力的角度来看，Mythos 只是相对平滑的性能曲线上的另一个节点，但对于大型组织来说，它已经跨越了某种高度相关的门槛。我认为就在过去的几周里，无论是公共部门还是私营部门的大型组织领导人，已经很少有人会再说“这不过都是科技圈的炒作”了。感觉它对于让世界开始严肃对待 AI 起到了帮扶作用。
Jack Clark：也许可以这样想：你的首席技术官需要关心代码编写能力以及软件工程师是否得到了加持，但你的首席执行官、总法律顾问和董事会则需要了解网络攻击和漏洞。因此，Mythos 向所有这些组织表明在技术专家之外、你们都关心的核心领域里，AI 已经动真格的了。
主持人：那我们能稍微往回倒一点，聊聊你刚才说得对的关于“这种能力将会广泛扩散”的事吗？眼下，Anthropic 拥有它，可以说 OpenAI 也有接近它的东西，也许谷歌也有。但正如你所说，这些都仅限于极少数几家公司，并且你已经能够运行结构化访问计划、自己选择谁能获取它。但根据我们迄今为止对 AI 项目的所有了解，这种只有极少数几家公司拥有如此强大模型的这种现状局面似乎维持不了太久。
在差不多 0 到 12 个月之间的某个时间段，我认为我们可以预见到会出现一个开源的同等能力模型。第一，你认为这是真的吗？第二，鉴于你刚才提到的“攻击者只需要成功一次，防御者必须每次都成功”，你预计这在现实世界中带来的后果，比如一年后会是什么样子？
Jack Clark：我认为在大约一年的时间里，将会出现另一个被广泛扩散的模型。不过除去这点之外，这也是一个政策层面的选择。例如，完全有可能是政府出面表示：“我们不应该扩散一个具备网络黑客攻击能力的开源权重模型。”在这方面存在着非常多元的激励和制约机制。
至于世界会发生什么？你很可能会看到黑客攻击事件在一定程度上的上升。但你同时也会看到组织在应对计算机安全的方式上发生根本性的转变。
我认为你最终的状态是：计算机安全看起来更像是你体内的白细胞。你会有海量的 AI 系统在软件中全天候、高速度地运行，在你的组织里进行巡逻，不断地发现并修复 Bug。与以前相比，这将是一种全新的、更具韧性的计算机安全架构。这就像当我们的免疫系统遇到一种全新的、我们对其毫无防备的病毒时，有些人会生病一样，网络环境里也同样如此。由于 AI 的存在，我们很可能会看到糟糕的黑客攻击泛滥，世界将经历一段调整期。但我确实认为，在度过这个阶段后，我们最终迎来的会是一个在网络防御能力上比以往任何时候都更加坚韧的世界。
主持人：让我来提出一点质疑。我想，听众如果听到这里，焦虑的地方在于：这未免有点过于自信和乐观了。你刚才描述的场景虽然有些颠簸，但我们最终走出了困境，而且情况变得更好了一些。听这段话的人可能会说：“难道就没有一种可能，实际上那会是相当灾难性的吗？”
在白细胞开始发挥作用、有些公司未能适应而有些公司适应了之前，你刚才描述的那段真空期，实际上可能意味着 AI 模型正在释放成千上万次难以置信的、极具攻击性且高效的网络攻击，这可能会对全球经济造成破坏。
Jack Clark：也有人会说，这同样是你可能会遭遇的一种场景。这在很大程度上取决于一种选择。这不仅仅是公司的选择，还取决于政府对此重视到什么程度，以及政府和公司之间能否合作起来，去围绕关键基础设施和其他供应商开展工作并保障其安全。
主持人：所以你基本上给我们的叙事是：你们意识到自己手里有这个东西，然后你们选择不公开释放它。
但听了这些，感觉还是有点像：这帮人建造了一颗核弹，然后他们自己觉得这玩意儿有点危险，于是全凭自己的意愿决定不让任何人得到它。这有点让人担心，因为这意味着目前并没有一个政府监管机构或某个人出来告诉你“你不能公开释放这个”。
如果我们全指望这个，那我们就是在赌你们是一群好人。显然，掌管 Gemini 的人必须是好人，掌管 OpenAI 的人必须是好人，掌管 Grok 的人也必须是好人。我们是不是正处于这样一个世界：基本上就是说，一群自愿做“好人”的人制造了这些惊人的武器，然后他们只是选择不释放它们，但没人能告诉他们该怎么做？
Jack Clark：我认为我们所处的这个世界，AI 公司正在建造相当于核电站的东西。而我们刚刚经历了第一种情况：当我们将电站升级时，一颗核弹也随之掉了出来。你会说：“这可有些严重后果了。”
那么，作为一个社会，我们想要更多的核能吗？我们当然想。我们同样也想管控核能的风险吗？当然想。你想要去解决核电站可能会吐出核弹的潜在武器扩散问题吗？那是绝对的。为此你需要法律吗？是的，你当然需要。
我并不是坐在这里说“把一切交给行业自己去管”。不，我所描述的这种情况极其罕见。我认为我们试图通过 Mythos 来说明整个故事的完整真相，那就是：情况一直是这样，随着我们把这些 AI 系统做得更好，它们在许多我们希望它们精通的事情上变得更有能力，比如发现代码中的漏洞、推进科学发展、提升我们推动医疗保健的能力。但同时也表明，随着你让它们在这些方面变得更好，军民两用能力现在开始显现了，我们不能把它当成普通的技术来看待。
我们必须改变我们的思维方式。通过将它与一系列公司以及像 AC 这样的机构分享，我们已经做到了让你们不需要去盲信原始开发公司的说辞。你可以去问他们，或者去问 AC，我认为这为全世界提供了关于这是真实合法的最佳信息，并为我们争取到了时间去琢磨我们究竟需要做什么。
当然，作为其中的一部分，你应该出台一些监管政策，规定“你无权自己选择是否释放一颗核弹”。但同样地，你也不希望出台一种会阻碍“核能发电”这部分利益的监管，否则我们就会重蹈人类在 70 年代对核能问题过度反应的覆辙。当时我们在世界上很大一部分地区直接停止了核电站建设，从而错失了发展际遇。
主持人：最近你写了一篇在我看来极其出色的文章，探究的是“递归自我改进”的概念。核心意思就是：AI 能够提升它自己，因此你可能会得到某种智能爆炸。
实际上，目前 AI 的进步瓶颈卡在 Jack 那些非常聪明的同事以及他们的同行身上，他们需要不断想出绝妙的点子，不断改进机器。而 Jack 写了这篇关于“机器实现自我改进的时间线”的文章，将会移除至少一个瓶颈，当机器能够自我改进时，那就相当于机器拥有了 10 万名世界上最顶尖的软件工程师在 24 小时全天候为它工作，它就能够以快得多的速度自我改进。
所以，套用 Jack 刚才那个非常生动且富有建设性的比喻，我认为你可以说，那将会是这件事的下一个阶段。
我想有些人会说，“我们想要做出选择，这需要监管，而你说‘是的，我们应该做出选择’”，我想一个更深层的隐忧会是：我们真的有选择吗？
我不是指某种技术层面的意义上，在技术上我们当然有选择；而是说，我的一些朋友会谈论某种“技术资本主义”，即实际上这里根本没有选择。我们在某种程度上必须做这件事，现在就是得允许这件事发生，因为技术资本家们想要让我们允许。
所以我认为有一种观点是：这种“选择”其实与我们所有的激励机制是背道而驰的。已经有一个被广泛使用的论据之一，“如果我们不做，别人就会做”。这在国家内部的竞争对手之间是成立的，在国家之间也是成立的。我真的很想知道：那个“选择权”到底在哪？
Jack Clark：这其中确实存在一个选择，它基本上处于一个光谱之上：一端是“个体主权最大化”，另一端是“安全性最大化”。在“极端安全”的情况下，除了政府或者绝对安全的机构之外，任何人都无法获取它；而在“极端自由”的情况下，每个人都可以获取它。
或者，我们选择去相信人们对此进行探索和实验的能力。当然，显然这两个极端都是荒谬的。如果基本上没人能获取它，你实际上就得不到任何好处，而且你会把权力集中到一两个、或者极少数几个实体手中。但如果每个人都能获取它，那你现在就是在用全球人类的生命去豪赌。这其中必然存在某些路径，看起来更像是我们允许逐步实现的、阶梯式的技术获取渠道。
主持人：你基本上是在说，我们必须在行业内部摸索出这种协同机制，而且也许更重要的是与中国达成协同。我记得你曾说你认为到 2028 年底，有 60% 的概率会发生这种情况？
Jack Clark：是的。
主持人：所以我们谈论的是，要在短短两年半的时间里去达成协同。行业内部的协同本身就已经相当具有挑战性了，更不用说在如何搞定国内这一套的同时，还要去跟中国协调。矛盾的是，我认为与中国进行协同，甚至比在硅谷这帮坐在一起的人之间达成协同还要容易。
Jack Clark：我认为各国拥有开明的长远眼光，因为它们会存在很长时间，并且减少混乱符合国家的利益。而我们正处于白热化的竞争之中，所以我认为与国家协调可能会更容易一些。
主持人：我发现更难理解并让他们融入进来的，是另一帮人。我早上起床时，脑子里真不会觉得埃隆·马斯克、马克·扎克伯格、Sam Altman 这帮人是真的……
主持人：其实我上周就想到你了。当时 Sam Altman 和埃隆·马斯克出现在法庭上为此事作证。Jack，我想知道，鉴于你最近的一些经历，你是否同意这一点：美国公司确实会出庭，并且它们基本上会听从法官的判决。而且政府让他们做什么，他们就得做什么。
如果说我们在过去 6 个月里学到了什么，那就是政府将会非常强硬。它拥有大量的杠杆可以用来迫使公司做政府想让他们做的事。关于“美国政府无法迫使这三四家私营公司之间达成协同”的说法，在我看来是非常不可信的。
Jack Clark：我们不如来看看大盘。所有前沿 AI 公司最终都做出了生物武器分类器。所有公司最终也都彼此分享了大量的细节。现在，这虽然还没有被定为强制性要求，但我认为这几乎已经不是重点了，因为你可以证明，行业已经实现了某种自我协同，达成共识说：“我们不要把生物武器风险之类的东西随机地扩散到世界上。”
现在，这对我来说至少是一个证明，证明你能够进行这种基础形式的协同。但它确实需要双方的共同努力，需要有更大的政治意愿来出台更强硬的监管。我们目前实行的是透明度和透明度报告制度，这几乎就像是政府在说：“告诉我们你的制造流程，以及你贴在 AI 系统上的标签的细节。” 显然它会走得更远。就像我们在把飞机、汽车和食品交付给消费者之前，会进行安全测试一样。
主持人：因为我认为这实际上引出了另一种类型的问题。我最近和其中一家大公司的人交流，在争论了一个半小时之后，他向我承认说：“听着，我同意你的看法。”
“我们应该被监管，但你们必须来监管我们，把我们所有人放在一起管。如果我是你，我现在就会走出去制定监管政策。你不能指望我们自己停下来，因为我们正与其他所有人处于竞争之中。”
但在另一端，我没有看到人们在哪里具体制定出他们想要对这些公司进行测试和监管的细节。我经常听到公司唱反调并说：“行啊，你们想监管我们？告诉我们你们想监管什么。你们根本没有告诉我们想要具体规范什么，对吧？”
Jack Clark：我认为，超越监管强制要求的范围去采取行动，既是公司的能力，也是公司的选择。我们承诺对自己的产品进行一系列安全测试，并将其公之于众，我们说我们认为这最终应该成为监管该有的样子。但是，我们自己完全可以主动生成这些信息。
在所有的前沿 AI 公司中，都有深切关心系统安全的人。当你在亲手建造它的时候，你怎么可能不关心？你不可能直勾勾地盯着一个终极网络黑客机器的核心，然后轻飘飘地说：“这玩意儿会没事的。”
主持人：好吧，曾有那么一个时刻，那些家伙认为，当他们引爆第一颗原子弹时，有非同小可的概率会引发链式反应，从而炸毁整个宇宙。但他们还是做了。我们知道人类可以对事情感到非常担忧，因为我们知道谷歌 30% 的工程师可能对这些事情极度焦虑。但我们也从过去的错误中知道，尽管相关的工程师充满善意且态度严肃，公司依然可能犯下灾难性的错误。
Jack Clark：未来的世界回过头来看会想要什么？它会希望你拥有某种强制性的安全测试机制，每个人都必须参与、每个人都必须通过。它会希望你对向社会共享这些风险的细节有某种概念。它还会希望你做一些事情，让社会能够提前做好准备以获取优势、应对风险，或者在风险相对于收益显得不可承受时说“不”。
所有这些事情现在都开始初具雏形了。我们作为一家公司，经常在口头上给予公开支持，事实上，有时由于支持得太高调，还会引发我们与这个领域里其他利益相关方之间的摩擦。我相信政府最终会采取行动。这只是会让人感觉不到最后一刻不罢休，因为我的感觉是让政府付诸行动需要付出巨大的努力，而且在危机发生之前，需要有海量的证据才能让他们做任何防患于未然的事。
主持人：出于显而易见的原因，我们今天聊了很多我称之为“国家安全型”的风险。而在本系列播客的其余部分中，我们聊了很多关于经济影响的话题。显然，我认为你在 Anthropic 的角色，有很大一部分精力是高度聚焦于此的。
首先，也许可以先来个大标题式的概述：关于“就业末日”有很多说法，关于国家内部和国家之间的差异化影响也有很多讨论。你认为我们在这个问题上处于什么阶段？然后，我想深入探讨一下，你认为政府对此能够且应该做些什么。
Jack Clark：我们在经济影响上所处的阶段，有点像几年前我们在“AI 与国家安全”课题上所处的阶段。大家有一种直觉，认为有些重要的事情即将发生。但政府内部还没有建立起真正的衡量或测试基础设施来做这件事，而公司也才刚刚开始分享信息，包括 Anthropic 发布的经济指数（Anthropic Index）。但所有这些，你基本上可以因果关系上做出断言：如果 AI 公司做了 X，经济中就会发生 Y。我们完全有能力在公司和政府之间生成这些数据来做到这一点，应当通过监管来强制公司分享信息。
Anthropic 经济指数在保护隐私的前提下，审视了我们的客户使用 AI 的所有方式。它将这些数据与所谓的 ONET 职业分类结合起来，诸如劳工统计局等机构正是用这些分类来界定经济中正在发生的变动。这样一来，你就可以观察 AI 公司平台上发生的经济活动，并将其与用来分析宏观经济的相同经济数据结合起来。
备注：ONET职业分类是基于美国标准职业分类（SOC）体系，将职业按工作内容、技能、知识和能力等特征进行系统化分类的工具。
如果说我们还有任何希望在“AI 对经济的实际影响”与“CEO 们解雇员工并甩锅给 AI（但实际上是由于他们在疫情期间盲目扩招这一决策失误导致的）”之间做出强有力的区分，我们就必须建立起这种数据共享系统。这绝对是可以做到的，而且现在正在做。在英国，我刚刚会见了英国政府新成立的“AI 与经济学研究所”的人员，他们的目标正是做这件事。
Jack Clark：但我们确实还不知道未来经济的具体形态。我唯一能告诉你的是，我无法将这些系统的强大能力，与保持现状、一成不变的经济模式调和起来。显而易见，巨大的变革将会发生。每一个试图对此做出预测的人，在未来看来往往都错得离谱。如果你非要让我预测，我会说，显然在 AI 触及的所有事物上，你都会获得生产力的乘数效应；显然会涌现出一批新公司，相比于前几代公司，它们能够用少得多的人力去做多得多的事情；并且，初入职场的应届生招聘很可能会遇到一些问题，因为这部分人拥有的技能储备几乎是最少的，也最容易被 AI 系统所取代。
除此之外，我很难说未来由 AI 驱动的经济会是什么形态。因为我不知道生产力的乘数效应是否会复利叠加并创造出全新的产业，我也不知道这些正在生成全新业务的创新型企业，其激增的数量是否会远超正常的商业成熟周期。
主持人：你不认为你对 RSI（递归自我改进）的愿景，与人类劳动力主导的世界是格格不入的吗？还是说你觉得它们就是不兼容的？
Jack Clark：我认为在类似 RSI 的模式下，经济会经历巨大的增长，以至于人类将处于一个比今天大上百倍的经济体顶端。你知道，许多经济学说认为，你最终要做的是去验证和核实自动化流程的输出。在我们周围世界的很多领域里，比如在制造业、风险定价以及由人类去琢磨如何根据行动风险达成协议的过程中，情况正是如此。看看保险市场，看看债券市场，它们本质上就是在国家层面对风险进行建模。我认为，在这个庞大得多的经济体之上，将会产生大量我们现在甚至无法想象的新工作和新专业，并为人类提供充足的就业机会。
但在通往那个阶段的途中，你将会看到经济结构和就业岗位发生极其、极其巨大的变革。但要预测这些变革具体会是什么是非常困难的。我想你唯一可以满怀信心地赌赢的，就是这里必然会发生天翻地覆的变化。
主持人：把这三个故事：Mythos、风险和就业串联在一起。让我担心的事情之一美国政府可能会在几年后突然醒悟并宣布：“基于国家安全原因，我们认为 Mythos 模型过于危险，不能释放到美国境外，因为它可能会发起可怕的网络攻击。”
到那个时候，这些前沿 AI 模型就成了美国独占的私有财产，欧洲人无法获取最新、最顶尖的前沿模型。接着就会出现所有的经济价值都被从欧洲吸走，流向美国。那些拥有三名员工、市值却达万亿美元的 AI 原生公司将依托美国的前沿模型在美国建立起来，然后你们赚得盆满钵满，而我们欧洲人只能坐在那儿，寄希望于你们觉得自己赚了太多钱、最终愿意施舍一点。
Jack Clark：那我们就来做笔交易。我认为这是一个并非不可能发生的场景，而且是一个非常令人担忧的场景。我认为有几件事是我们需要去努力应对的。
第一，我发现很难将这种未来经济的形态，与我们目前试图对企业（尤其是 AI 企业）征税或控制的常规方式调和起来。在我看来，更贴切的图景是：包括我们在内的这些公司，其计算机将遍布世界各地。而这些计算机所在的节点，正是大量经济活动发生的地方。在针对性的税收形式上，必定有某种方式可以直接针对这一点进行调节。我不是税务专家，不冒称自己有答案。我只是说一个基本的直觉，那是改变你方经济的根源所在，它是有实体的，并且在地理上分布在美国境外，你们当然可以针对这一点采取措施。
主持人：听起来这是一个投资本土算力基础设施的极好理由。
Jack Clark：这绝对是投资本土算力基础设施的一个极好理由。第二部分，对于那些最终因军事用途而被归类、或被认为与国家安全相关的技术。自 2016 或 2017 年我开始从事 AI 政策工作以来，我一直在对世界各地的政府说：“我们正在建造大计算机，这给了我们超乎想象的杠杆优势。你们考虑过建一台大计算机吗？”
我认为，对于欧洲来说，建造一台可以运行 AI 系统的超级计算机的选择依然摆在桌面上。这确实是一个选择，而这个选择的问题在于，其所需的资金数字每年都变得更加惊人。所以，启动它的最佳时间是去年，第二好的时间是现在，而最糟糕的时间是明年，你知道这幅画面意味着什么。我认为这必须成为应对方案的一部分。
主持人：在多年来关于这些话题的辩论中，你学到了什么？在这些对话中，什么是富有成效的，什么又是徒劳无功的？你从哪里开始觉得对话变得有些死板和沉闷？
Jack Clark：好吧，正如你刚才在推着我问“那其实并不管用，真正迫在眉睫需要做的是什么”，我们进行了一场富有成效的讨论。我认为让人们去明确指认具体的细节是有用的。
此外，真正去谈论“感受”也是件好事，也许是因为我在加州住得太久了，所以现在会说出这样的话。但作为一名研发这项技术的人，我当然对它感到非常兴奋。我从事这项工作，从根本上是因为我认为人类在本世纪面临着巨大的挑战，要度过这些挑战，需要我们找出更聪明的发电方式、取得各种科学突破，以及大范围的医疗创新。AI 绝对能帮我们做到这一点。
但我很害怕它。我对我正在建造的技术感到恐惧，我对它将如何被治理感到恐惧。在我看来，这是一个疯狂的现状。我认为，让从事这项工作的人说出他们的真实感受是件好事，因为这让我们对此负有责任。就像我在说“我对此感到恐惧和担忧”，因为这让我更有责任感去解决这个问题，对其他所有人来说也同样如此。
主持人：好吧，既然你提到了你的孩子，也许这是最后一个问题。你正在为你的孩子做些什么？你如何看待对他们的教育？
Jack Clark：我的意思是，我认为孩子们拥有的那种孩童般的惊奇感和好奇心是极其了不起的。它提醒了我，当我还是个孩子时也曾拥有这些，以及学校后来又是如何千方百计、有条不紊地把这种好奇心从我身上榨干的。而 AI 带给你的是一台能直接被一个人的直觉和好奇心无限加持的机器。基本上，拥有巨大的热情领域、对世界保持好奇心，这些都是能被 AI 技术极大地放大和加持的东西；而死记硬背的技能、或者某种特定具体的职业规划，则是几乎会被它降维打击的东西。
所以，我正试图教我的孩子，我的意思是，你其实没法真正教一个三岁小孩任何东西，但几年后，去鼓励这种好奇心的文化，鼓励他的痴迷。因为我个人对这项技术最契合的接触方式，是我有一个写新闻通讯和在其中写小说的个人热爱项目。实际上，拥有个人的创作实践和爱好，不仅是我以一种让自己感到喜悦、兴奋和赋能的方式去使用 AI 的最佳途径之一，也是让我对它究竟有多好保持清醒校准的最佳途径之一。因为那是我深知其里层逻辑的领域。现在偶尔我会惊叹：“噢，它终于为故事写出了一段很棒的对白。” 能够得到这种校准是很好的。
在非常现实的意义上，我们教会了沙子去思考。某种极其奇妙的变化正在发生，我认为对这一点保持清醒和敏锐同样至关重要。
主持人：非常感谢。我们太喜欢“教会了沙子去思考”这个说法了。谢谢你。
Jack Clark：谢谢，期待很快能再次交流。
参考链接：
https://youtu.be/CHcMkIq2yXM?si=_eDtkTJD7udFc6OA
文章来自于"51CTO技术栈"，作者 "林芯"。
