AI 不需要 K8s？专访 GPUStack：一场会议后，他们放弃了数百万营收，转向 AI Infra

“做事情就得边开车边修轮子，你得往正确的方向走，不能等坐上保时捷了才出发。”

四年前，法国举办的一场 CNCF 大会上，主持人向台下的大模型创业者抛出一个常规问题：“Kubernetes 能为 AI 带来什么？”

对方脱口而出：“AI 不需要 K8s。”

话一出口，发言者很快意识到场合不对，笑着找补了一句：“……当然，我们也用了一点点 K8s，帮我们管管底层集群。”

坐在台下听完这段对话的，正好包括梁胜与秦小康。

在创立 Rancher 的岁月里，他们曾带着团队把 Kubernetes 推进了中国四万家企业的大门，涵盖中国平安、中国联通与上汽集团。他们比绝大多数人都清楚 K8s 在企业级架构中的分量，但也正因如此，他们对那个回答背后的信号格外敏感：写 Python 的大模型开发者，关注的是权重、上下文和推理延迟，而不是复杂的 Pod 编排与容器调度。

彼时，他们二次创业成立的数澈软件正在推进平台工程产品 Walrus。账上是数百万元的实际营收，大客户已经将采购列入下一年预算，研发团队数月迭代的新版本也即将发布。

但面对行业范式的转向，会场碰头后，秦小康问梁胜：“我们什么时候宣布转型？”

梁胜的回答很干脆：“走出会议室就宣布。”

从法国回国，中午落地，下午两点召集全员会，方向彻底调转。在秦小康看来，这句话让他们整个团队的效率提高了 100 倍，因为固守一个一眼望得到头的方向是最大的消耗，“做事情要边开车边修轮子，不能等所有条件都具备了才动身。”

转向背后，是 AI 算力落地的现实断层。

2022 年大模型爆发后，企业疯狂买卡，但买卡容易，把卡用好极难。不同芯片厂商的驱动与软件栈各异，新模型日新月异，硬件适配与部署链路极度碎片化。摩根大通（JPMorgan）后来的报告给出了一个数字：中国 80% 新建数据中心的 GPU 处于闲置状态。

梁胜将其概括为一个“多对多”困境：没有一家 GPU 厂商能有精力把市面上所有开源模型全部支持好，也没有一家模型厂商能保证自己的代码在每一种芯片上完美运行。而对开发者而言，他们不想要冗长的容器运维，只希望在短时间内把卡跑起来，变成对外提供调用的“Token 工厂”。

新产品 GPUStack 由此诞生。彻底开源后，这支十余人的团队聚拢了全球 120 多个国家和地区的超十万名开发者，并相继拿下华为昇腾、海光 DCU、沐曦 MetaX 等多家国产芯片的官方兼容认证。

九月初，GPUStack 首届 AI Infra 生态与技术创新大会落幕。GPUStack CEO 秦小康、GPUStack CTO 梁胜，以及帝欧水华集团董事长朱江，接受了 CSDN 的专访。

开源平台的中立性，还守得住吗

CSDN：最近传闻英伟达斥 100 多亿美金收购 Hugging Face。很多人把它和当年微软收购 GitHub 做对比——同样是巨头收编开发者入口。倒过来想，Hugging Face 是做错了什么，还是说开源平台的终局一定是被巨头收购？再往 GPUStack 这边看，这个时代开源平台的中立性还守得住吗？

秦小康：这两件事稍微有点不一样。GitHub 被收购之后虽然有些限制，但并没有影响上面软件的运作，反而造就了机会，让其他人能把生态做得更好。

Hugging Face 这件事我们看了也挺吃惊，但这恰恰说明开源的价值非常大，而不是开源没有价值。

对我们来说，让不同的模型在平台上运行，第一天设计时就考虑了 Hugging Face，也支持国内的魔搭（ModelScope），我还准备了第三种方案——Local Model，把模型下载到本地机器来跑。所以未来如果这些渠道真的受限了，我相信很快会有新平台出来替代。这在技术上没有多大难度，核心是要做得够大、够方便。

现在既然 Hugging Face 已经这么方便，大家没必要重复造轮子。但如果将来它不好用了，肯定会有新的开源产品补位。如果英伟达足够清醒，它也不会允许“模型只能在我家跑、其他地方不能跑”，这无异于自断生路。

梁胜：马上下一个 Hugging Face 就起来了。我的想法跟他一样，这反而是对开源和开放式模型的一种认可。

CSDN：聊聊 GPUStack 的核心定位。作为一个跨芯片、异构、中立的算力调度平台，它到底是在巨头夹缝里更危险，还是会成为全行业的避风港？英伟达现在不断收编上游、把软件免费送，在巨头垄断下，中立开源软件的商业逻辑到底怎么成立？

梁胜：说实在的，我倒没想那么多宏观终局。光打一个“避风港”的旗号没用，最核心的还是要给人提供实实在在的价值。

用户下载 GPUStack，基本上不是为了逃避什么，纯粹就是为了解决具体问题：今天把这个模型布到机器上去，明天模型变了还能再布下去。大家关心的就这么点事：让模型稳定跑起来，变成可以对外调用的 Token 服务。

这件事情难就难在，它是一个“多对多”的困境——除了英伟达，没有一家 GPU 厂商有能力把所有开源模型全部支持好；也没有一家模型厂商发布新模型时，能把下面每一种 GPU 都适配好。 这种产业断层，才给了我们机会。

当然，这个机会在今天看来还算不上巨大。就像当年 Hugging Face 刚做模型托管时也没几个模型，后来谁也没想到会有这么大。但跟我们刚启动 GPUStack 时相比，现在的空间已经比当初想象的大太多了。

我常跟人讲，GPUStack 刚立项时，我的设想非常简单：上面就一个模型，就是 Llama；下面有几个非英伟达的 GPU——当年除了英伟达，无非就是 AMD、Intel、高通，还有苹果。那个时代和现在的差距，其实也就是两年以前的事。行业变化完全不可预测。

但我坚信两点：将来开源模型会越来越多，芯片架构也会越来越多元。我们把技术打扎实，真做成了，我们自然就会成为那个避风港。

CSDN：回顾几年前，大家也想象不到国产模型和国产算力会有现在这么重要的地位。当时都在想未来的开源风向标可能就是 Llama 了。但现在主导的其实是 DeepSeek 和 Kimi。

我现在还看到，Hugging Face 的被收购，被外界视作商业化的失败——单纯做模型托管（Hosting），却在 Token 时代被 OpenRouter、Fireworks 截流。GPUStack 选择以“Token 工厂”切入，是出于怎样的考量？又该如何避免重蹈覆辙？

秦小康：我们从没想过要把 GPUStack 和“Token 工厂”死死绑定。它只是现阶段客户最容易理解、也最愿意买单的应用形态。

早期我们跟客户讲“多对多”——上面有多个模型，下面对接各种异构 GPU，对方听着觉得像在讲玄幻故事，怀疑你到底是不是在吹牛。尤其是面对传统企业，技术概念太超前是卖不动的，你必须给他一个极其具象的东西：你手头有一堆卡，听不懂什么底层虚拟化，但只要知道 GPUStack 能帮你建起一座“Token 工厂”，把算力变成 Token 卖出去换成钱，所有人立刻就明白了。

商业叙事是阶段性的。今天市场接受 Token 工厂，明天如果更认“Token OS”，我们也可以是操作系统；未来大家要在上面跑 Agent，我们就是 Agent 的运行容器。这就是“Stack”（技术栈）的魅力——只要你把中间层底座做扎实，上面的应用形态随它怎么长。

梁胜：这个领域的变化太快了。现在大家觉得“Token 工厂”很时髦，但两年前我们刚做 Llama 推理服务时，跟人讲“Token 级调度”，别人第一反应以为我们在搞加密货币发币。技术的命名永远在变，今天大家热捧的概念，过两年说不定就会沉淀为训推一体的全新算力架构，顺其自然就好。

Token 越来越便宜，管好算力才值钱

CSDN：今年算力圈的一个焦点是推理价格战，像 DeepSeek 这类模型全球调用量登顶不到一周，就持续压低 Token 价格。Token 越来越便宜，意味着管好每一分算力不浪费，成了真金白银的差距。而且推理过程中产生的中间结果，以前用完就扔，现在演变成需要在机器间搬运、共享与长期保存的状态。这个变化对算力底层管理意味着什么？

梁胜：你指的是 GPU 里面未来存的用户状态数据会越来越多，对吧？

CSDN：对，怎么把这些状态和算力真正管好。

梁胜：现在 GPU 显存里存的基本还只是临时缓存，比如大家都在死磕的 KV Cache。不仅是我们，整个业界现在都在攻这个重点。

但未来跟用户上下文绑定的数据会越来越多，体量也会越来越大。在这种趋势下，将来单机配置 NVMe 存储，可能会变得跟配置 GPU 一样重要。现在每个节点配几 T 的 NVMe 大家就觉得很大了，而且存储成本本身也不低；但过几年，说不定几十 T、几百 T、甚至几个 P 的高速存储都要直接塞进单台机器。

到了那个时候，行业里一定会有很多软件涌现出来，大家都会往这个方向走。当硬件复杂到这种程度，底层资源就必须有一个操作系统统一管起来，而这正是我们要管的。

CSDN：现在做异构算力管理的产品也不少，这个领域最后会不会像当年的容器技术一样，收敛成少数几个通用标准，甚至诞生出 AI 时代的“K8s”？

梁胜：完全有可能。我们不能说自己就是标准，但当我们逐渐接近事实标准时，就必然会影响下一步产业标准的制定。 无论如何，一旦行业标准成型，我们一定会全力拥抱，因为标准的确立对整个生态是巨大的正向刺激。

现在的核心痛点是，虽然入局者众多，但很多人讲不清楚自己到底在做什么。很多厂商为了夸大自身价值，刻意把系统讲得越来越复杂、越来越模糊；反而像我们这样边界清晰、明明白白说‘我们就做这个、不做其他’的公司，变得不好找了。

CSDN：但实际落地中有一个很有意思的反差：你们之前提到过，GPUStack 现有的客户里有近半数人只用 Docker，完全不碰 K8s。

梁胜：对，他们就是不想用 K8s，就这么简单。 AI 开发者天然需要极简和专注。所以未来中间件这一层完全有可能走向标准化，也必须标准化。

CSDN：现在几乎每家做 AI 算力的公司，都会发布自己的基准测试（benchmark）和性能提速数字。但之前大模型行业这种“自测自评”引起过不少争议，比如 SWE-bench 上大量高分是厂商自报的，LMSYS 榜单也经常被匿名模型刷屏。你怎么看这类测试数据的含金量？

梁胜：测试有很多维度，有测模型本身智商的，也有从终端体验出发的。我们更看重用户视角的真实测试——比如在 OpenRouter 上哪个模型真实调用量最大、哪家 Token 工厂的延时最低，这比自说自话的跑分实在得多。

在 GPUStack 内部这也是刚需。很多客户自己拉了专线、搭了机房、布上机器，最迫切想知道的就是这套系统跑出来的实际吞吐到底是多少。它不是单次静态的评测，而是需要天天测、周周测，实时监控性能有没有劣化。

而且测试极其讲究工程细节：Prompt 长度差一点、显存与通信参数配置稍微变一下，跑出来的结果天差地别。我们要帮用户拿到底层最真实的性能数据，并帮他们直接调出最优的那套配置。

护城河在哪，天花板有多高

CSDN：vLLM 和 SGLang 核心团队近期相继成立了商业化公司。GPUStack 曾在一篇博客中强调“没有控制平台的系统终会失控”——这轮公司化浪潮不仅没有削弱你们，反而被你们视作自身位置更重要的信号。这个判断背后的逻辑是什么？GPUStack 未来的护城河在哪里？

梁胜：这是个很好的问题。我认识 vLLM 的几位创始人，早期甚至跟他们探讨过：如果 vLLM 要产品化，其实最该做成类似 GPUStack 这样的控制平台。

但他们最终选择了另一条路。从他们的角度看，通过与各大 GPU 厂商更紧密地合作，特别是做超一线公有云的大规模部署，能够拿到的单子已经非常可观。在他们看来，GPUStack 做的这层轻量化私有化部署，规模还不够大；但他们既然不做，那就我们来做。

我一直最尊敬的软件公司是微软。当年我在 Sun 的时候，大家都看不起微软，觉得微软操作系统只能管单台机器，而 Sun 可以管集群、管企业级计算，Windows NT 根本上不了台面。但最终你会发现：计算领域的演进从来都是“农村包围城市”，从来都是从下到上，绝没有从上到下的。

另一方面，推理引擎本身的格局现在充满了变数。我在硅谷接触过很多极其聪明的青年创业者，顶级名校出身、顶会论文傍身，他们做出的全新架构，动辄就能比 vLLM 快 20%。特别是现在推理形态在剧烈变化，强化学习和思考模型正在把训练和推理融为一体。随着推理引擎本身剧烈变革，反而凸显出 GPUStack 这一层系统工程的独立价值。

推理引擎本质上是一个追求极致性能的“小系统”，要做得极小、极精、极快；而 GPUStack 是一个系统工程，是个“大系统”。 如果你每天都在死磕怎么把单点算子效率再抠出 10% 到 20%，你根本不会有精力去折腾底层各种存储、网络、异构芯片与调度协同的脏活累活。所以我们与推理引擎天然是上下游合作，根本不是竞争对手。

CSDN：秦总怎么看这个赛道的天花板？像 Together、Fireworks 如今估值都是几十上百亿美元，这看起来比传统企业软件往往只占“硬件成本 1%”的估值模型要大得多。

秦小康：这个赛道的想象空间远远没有到顶。现在已经有很多传统硬件厂商找我们合作，试图把算力管理往边缘侧推。上个月一家台湾知名的工业设备大厂专门来找我，他们不仅做机架服务器，也在用中东或自研的各类专用芯片做边缘设备。

未来每一个企业、甚至每一个业务小组，都会拥有自己的“Token 工厂”。 他们有自己的本地算力，要低成本生成 Token，还要跑各种垂直领域的专业模型。当芯片种类这么杂、模型数量这么庞大时，必然需要一个中立的底座去兜底。如果我们的平台能做到足够好，在未来的 AI 世界里我们就是那个 Windows。

至于商业化，未来会很像当年的 Red Hat：不付钱的开发者用社区版，付钱的企业用企业版。企业付钱买的是确定性保障——业务越是 mission-critical（关键任务），就越需要有人兜底。

而且 AI 时代的资本体量是指数级的，动辄几千亿美元估值。过去在容器时代受制于产业规模做不到的事，在 AI 时代完全可以成立。

CSDN：完全开源的项目，社区要的自由和公司要的商业回报难免会有拉扯。你们怎么处理这中间的张力？当年 Rancher 的经验这次能复用多少？

秦小康：开源与商业化其实是个阶段性问题。在项目早期，开源是让产品快速被验证、被反馈的最佳手段，这个阶段根本不需要人为制造一个阉割版去逼人掏钱。

早期的客户即使在用开源版，也会主动付钱；他们买的不是‘独占代码’，而是一个能够稳定运行的确定性保障。 所谓开源被公有云“白嫖”的烦恼，那是做到像 MongoDB 这种垄断体量之后才会遇到的——真到了那个阶段，说明你已经成了全行业的事实标准，那只是一场幸福的金融结算问题。

国内确实有些企业客户有心理诉求：“我付了钱，拿到的东西怎么能跟免费的一模一样？”为了照顾这种诉求，我们确实提供企业版应不时之需。但只要你做的是真正的订阅服务，绝大多数买单的企业根本不在乎代码是否私有，他们唯一在乎的，就是系统能不能 365 天不宕机、稳定地把 Token 吐出来。

边开车边修轮子

CSDN：聊聊中间层软件的终局。最终会被并入某个大厂体系，还是能长成一个谁都绕不开的独立标准层？比如 OpenRouter 被 Stripe 以超 70 亿美元收购，Run:ai 被英伟达买下后直接开源。怎么看这两种截然不同的结局？

秦小康：一个产品有自己的生命力，生命力足够强的话，其实不在乎收不收购。 GitHub 被收购这么多年了，这个品牌依然立在那里。我天天都在用 GitHub，想到的依然是它本身，而不是微软，因为它就是一个不可替代的基础设施。只要你提供了足够的真实价值，即使被几百亿美元收购，也挺好的，那是对价值的最高认可。

梁胜：关键还是先把产品和服务做好。我们眼前要做的事情太多了，真到了那一天再说。

CSDN：顺着这个往前聊，数澈软件最早是做软件供应链安全，后来转向平台工程，2024 年才定下 GPUStack。两年内换了三次方向，每次转向是怎么发生的？是谁先提出来的？

秦小康：这得感谢梁胜，他对技术前沿的嗅觉极度敏锐。

公司刚起步时，因为美国的安全事件，全球 IT 投资里安全预算一度占到 50% 以上，供应链安全看起来是个绝佳的切口。但真正扎进去才发现，中国的安全市场非常重度依赖定制和卖功能，每个客户要的都是不一样的定制工具。我们希望做标准化的开源产品，这与定制化项目的本质产生了冲突。

转到平台工程（Walrus）时，我们吸取了教训，决心做标准产品。当时我们已经走得挺顺了：账上已经有数百万的真实营收，有大客户把下一年采购写进了预算，研发团队更是闭门几个月，新版本代码正准备发布。

真正的转折点就发生在法国那场 CNCF 会议上。听完那位 AI 创业者脱口而出的“AI 不需要 K8s”，我们意识到风向彻底变了。我们在会场当即碰头，决定必须转向做全新的 AI 原生产品。

但研发团队几个月的心血正等着落地，身旁有人问我：“既然决定换方向，什么时候跟团队宣布？”

梁胜在旁边当场拍板：“走出这个会议室就宣布。”

等我飞回国内，中午 12 点落地，吃完午饭下午两点直接召开全员会，转型的方向彻底定下来。

很多人问，阻力大不大？当然大，客户会抱怨，沉没成本也摆在那里。但换方向总比坚守一个必死的方向到底要好。一个业务如果五年后注定要死，那再硬撑五年，就等于是得了慢性癌症不治。做事情就得边开车边修轮子，你得往正确的方向走，不能等坐上保时捷了才出发。

CSDN：听完你们创业转型的故事，我也想问梁博对于现在创业的思考。技术圈常讨论一个现象，硬科技的创业门槛其实是暴涨了。投资人一上来就会拷问：为什么这行代码只有你能写出来，AI 自己写不出来吗？你怎么看这种创业门槛的变化？

梁胜：最容易创业的是当年的移动互联网时代。 那时处处是新场景，而且技术本身有壁垒，必须找专业的技术合伙人，这道天然门槛反而把很多噪音挡在了外面，卷得远没有现在厉害。

现在完全反过来了。大部分人创业根本碰不了硬科技，只能挤在应用层和框架层卷，门槛高得离谱。很多团队甚至带着“今年创业、明年做大、后年上市”的心态入场，这在今天极不现实。

CSDN：市场上常有一种声音，认为现在的 AI 依然到处是蓝海、到处是没被占领的生态位，只要跳进去做就能分一杯羹。

梁胜：我没觉得。机会确实大，但冲进去的人也极多，大家普遍最大的问题是缺乏耐心。 现在的资本更倾向于把巨额资金押在类似 OpenAI 上市前那一轮；而面对 GPUStack 这种重新定义中间件、又没有现成海外对标的公司，融资难度实际上是非常高的。

CSDN：现在流行讲“超级个体”、“一人公司（OPC）”，甚至有人断言未来会出现大量一个人撑起的独角兽。你们在一线认可这种趋势吗？

梁胜：我没看到，我一个也没看到。可能有，但至少一个真正成功的、值得拿出来讲的，我至今都没见过。你看到了吗，朱总？

朱江：趋势肯定在往前走，但所谓的超级个体不一定真是一个人，更可能是十人以内的小团队。 商业不是只有写代码，还要交付、要跟人打交道。不过在 AI 赋能下，一个七人团队的实际战斗力，完全可能碾压过去三十人的团队，这个我是信的。

梁胜：对，这个有可能。

CSDN：最后一个问题。在大模型重塑软件工程的背景下，很多人发现技术支持与现场工程（FDE/SRE）反而比纯算法研发更抢手、更难被 AI 替代。从 GPUStack 自身来看，你们目前最缺什么样的岗位？

秦小康：我们会需要更加极致的 QA。代码让大模型写，它会自说自话、觉得自己全是对的，你反而需要更专业的 QA 才能挑出隐蔽的毛病。

另外就是现场交付。客户把 GPUStack 装上去很简单，但周边环境错综复杂。我们的目标是通过把产品本身做扎实，帮客户减少对昂贵现场实施人员（FDE）的依赖，这本质上是在替客户省下真金白银。

文章来自于"CSDN"，作者 "王启隆"。