Matrix Game 4.0击败英伟达同期竞品，实现全球首个消费级显卡落地

游戏玩家们，开发者们，时代变了。

只需一张消费级显卡，AI 实时生成的可交互游戏就能以 60 FPS 流畅运行，开始有了真正能玩的样子。

让我们直接来看演示视频。

以下视频来源于昆仑万维集团

如果不提前告诉你，其实还蛮难想象这些游戏画面竟然是 AI 实时生成的。视频中的游戏由 Coding Agent 编写，画面则交给视频模型实时重渲染。

一组数据足以让人震撼。基于 Wan2.2 5B，在单张 RTX 5090 上以 480p 分辨率，能够实现游戏 60 FPS 运行，按键到画面响应端到端延迟低于 150ms。在 1 步去噪下稳态生成速度高达 83 FPS，显存峰值约 18.5 GiB。

对比而言，英伟达研究团队本周刚刚推出的 StreamRender-H3，采用类似的技术路线。根据其公开的技术报告，StreamRender-H3 在 8 张 GB200 GPU 上，将流式扩散渲染的单步耗时优化至 218ms，而其交互延迟约为 500ms。

当英伟达研究团队还在动用 8 张数据中心 GPU 探索实时生成游戏时，中国团队经过锲而不舍的研发，已经拿出了单张消费级显卡运行的方案，在同样的技术逻辑下超越了英伟达！

实现这一重大技术突破的，是昆仑万维最新发布的 Matrix-Game 4.0，全球第一款消费级显卡实时运行的视频大模型游戏，并且同步开源。此次开源的不只有模型权重，还包括可供开发者直接修改、扩展和二次创作的游戏代码。这意味着，开发者可以在现有基础上快速构建，也为 Matrix-Game 4.0 吸引更多开发者、培育开源生态提供了更大的想象空间。

• GIthub 链接：https://github.com/SkyworkAI/Matrix-Game.git
• Hugging Face 链接：https://huggingface.co/Skywork/Matrix-Game-4.0

视频模型的「Harness」：三角分工

过去两年，以 Genie 系列为代表的交互式世界模型走的是一条「全托管」路线，一个视频模型同时承担世界建模、状态记忆和画面生成三重任务。

这条路上的困境已经被反复验证。Genie 3 虽然实现了实时生成、记忆窗口拉到约一分钟，但世界状态只隐式地存在于生成的像素中。一旦物体离开视野就没有任何东西在「记着」它，微小误差在自回归过程中不断累积，场景会在几分钟内逐渐丧失真实感。

在最初的三十秒左右的时间里，那片 “尘暴地带” 的场景看起来非常真实，具有空间上的连贯性、一致的照明效果、逼真的建筑风格以及符合那个时代的细节特征。不过，随着我继续浏览画面，画面的质量逐渐下降：纹理变得柔和，几何形状也失去了真实感。（来源：斯坦福大学 Starling Lab）

事实上，世界模型领域已经有不少团队意识到，单靠视频模型很难维持一个长期稳定的交互世界，并开始探索将世界状态与画面生成分离的技术路线。

例如与 Matrix-Game 4.0 架构相似的同期工作，Programmable World Model 尝试通过可编程引擎维护世界状态，StatePlay 采用视频与状态双分支联合预测，MASS 则探索利用学习式逻辑引擎维护多人共享的世界状态。

Matrix-Game 4.0 在此之上进行了创新，不只是在画面生成质量，还在算力要求和实时响应，更在于把「状态维护 — 实时交互 — 开发生态」三个分散的能力进行了整合，这正是 Matrix-Game 4.0 与同期工作拉开差距的地方。

表：交互式世界模型路线对比。Matrix-Game 4.0 首次在消费级显卡上实现实时可玩，并将模型权重与可改编游戏代码同步开源。

昆仑万维 Matrix-Game 4.0 团队的判断是，现阶段的扩散模型学到的主要是统计相关性，能让生成结果看起来真实，却很难真正掌握因果关系和物理规律。既然视频模型独自记住整个世界这条路走不通，那就为它套上一个外部「harness」，由三个模块各司其职。

游戏引擎，充当世界的「裁判」

游戏引擎的能力，是整个世界构成的基石：道路是平面，建筑是盒子，人物是骨架。血量、重力、碰撞、任务进度等游戏规则，都由引擎直接计算。每一帧，引擎都会输出一份「结构草图」，明确相机和物体的位置，以及发生了哪些碰撞事件。这样一来，世界的真实状态始终真实，有根据，不再随机变化。

有意思的是，这位「裁判」本身也可以由 AI 来编写。Matrix-Game 4.0 中的游戏，就是由编程智能体（Coding Agent）通过代码构建的轻量级游戏，GPT-6 也参与了代码编写。血量、碰撞、检查点等游戏规则，本质上都是一段段可以修改的代码。引擎每一帧输出的结构画面，则是视频模型重渲染的起点。

这带来了一个很直接的好处：想修改游戏玩法，让 Coding Agent 改代码就行。我们举几个例子：

在射击 Demo 中，团队通过 Coding Agent 给游戏加入了血量和装备管理机制：敌我双方盾牌有耐久度，耐久耗尽便会失效；玩家血量归零，游戏随即结束。

盾牌耐久耗尽消失

破坏敌人盾牌后击杀

血量耗尽游戏结束

赛车 Demo 的玩法变化更有意思。团队先构建了一个带有检查点的计时赛，随后又将其改造成车辆追击任务：玩家需要接近目标车辆，并保持五秒，才能完成拦截。

检查点计时赛，碰撞罚时示意

追击任务过程中

追击任务拦截成功

从计时竞速到车辆追击，游戏规则变了，底层视频模型却无须重新训练。 这也体现了将游戏逻辑与画面生成分离的价值：开发者可以更灵活地调整玩法，而视频模型只需要负责呈现游戏世界。

Coding Agent，充当世界的「编剧」

它负责将玩家的创意转化为真正可以运行的游戏，主要有两个任务。一是为游戏场景赋予具体的视觉风格。比如，引擎中一个简单的建筑模型，既可以被描述为「海边的一栋老旧木屋」，也可以变成「未来都市中的科技商店」。这些描述会作为文本条件，与引擎输出的结构画面一起，指导视频模型完成实时渲染。二是负责即兴创作。玩家只需要用自然语言提出需求，从调整地形、布置物件，到修改 NPC 行为、设计新玩法，Coding Agent 就能将这些想法落实为具体的场景配置和游戏代码。

视频生成模型，充当世界的「画师」

传统游戏开发中需要耗费大量人力制作的美术资产，以及复杂的光影、烟雾、液体等视觉效果，如今交给视频模型实时生成。不过，这位「画师」也有明确的权限边界：外观细节可以自由发挥，并保持前后的一致性；画面中凭空出现的新物体，需要经过智能体识别和引擎检查；至于血量、背包等核心游戏数据，视频模型无权修改。它可以决定世界看起来是什么样子，却不能擅自改变世界的运行规则。

我们可以通过下面的对比画面，直观的感受一下游戏引擎输出的结构画面和实际画面的区别。

第三人称射击

赛车（1.5 倍速演示）

至此，我们能清晰地发现：Coding Agent 即兴创作新场景、剧情与 NPC 对话、多人共享同一世界，是 Matrix-Game 这条路线的设计目标。

游戏引擎维护一个规则明确的世界，Coding Agent 负责理解和扩展这个世界，视频模型则不断赋予它丰富、逼真的视觉表现。Matrix-Game 4.0 是这条路线落地的第一步，优先侧重于实时性和低延迟。

创新技术链路，把一切塞进 5090

这套分工要真正跑起来，还有一个关键前提：视频模型的重渲染速度必须足够快。

游戏引擎只需运行轻量级模拟，维护世界状态和游戏规则，实时生成高质量画面的压力则主要落在视频模型身上。

为了将这一切塞进消费级显卡，Matrix-Game 4.0 围绕数据构建、模型训练和推理加速三个环节，进行了一整套针对性的优化。从让模型学会根据结构画面生成高质量场景，到通过少步蒸馏减少计算量，再到压榨单张显卡的推理性能，每个环节都直接影响最终的实时体验。

数据：UE5 结构画面 - 精细画面对齐

团队基于虚幻引擎 5（UE5）构建了面向世界模型的结构画面 - 精细画面跨域对齐数据集，覆盖超大城市、开放沙漠、复杂城堡、高动态空战四类场景。自研的轻量化几何抽象采集管线，在保持相机轨迹与时间戳严格时空同步的基准下，将高复杂度场景抽象为保留空间拓扑和刚体位姿的「结构表征」，与精细的影视级画面逐帧做像素级对齐。系统还并行捕获物体实例 ID、可见性状态和因果交互事件，构建富语义的动态元数据流，为生成模型建立从「轻量几何」到「高保真视觉」的条件映射。

动态 Caption：让语义跟随玩家

游戏画面随玩家操作不断变化，转动视角可见物体不同，触发事件后状态也会更新。固定的文字描述跟不上这些变化。Matrix-Game 4.0 引入了动态 Caption 机制，系统将场景物体 ID 与语义描述关联，从引擎实时获取当前可见对象及其状态，运行时填入提示词模板，使语义条件随游戏世界同步更新。结构画面提供位置、布局等结构信息，Caption 补充「画面中有哪些对象、处于什么状态」等语义信息，两者共同约束生成。

可控生成与空间记忆

视频模型基于 Wan2.2 5B（Fun Control）改造为视频到视频（V2V）模式，引擎渲染的结构画面与待生成视频按通道拼接（共 148 通道输入），配合动态合成的场景事件 prompt、空间记忆参考图和第一帧，分别负责细节描述、场景一致和画面衔接。训练分两步，先做 SFT 训练双向模型，再参考 Causal Forcing++ 的方式训练为自回归少步生成模型。最终模型每次 rollout 去噪 1 至 2 步，生成一个四帧的块。

推理加速：把每一毫秒都榨干

Matrix-Game 4.0 最大的难点在于：如何把原本需要大量计算的视频生成过程，压缩到消费级显卡能够实时处理的程度。

四帧一块的生成方式意味着模型调用频率非常高，GPU 有大量时间在等待 CPU 发射计算任务。团队做了一系列针对性优化。

• CUDA Graph，将 DiT 主干计算预先录制，运行时一次性重放，大幅降低 CPU-GPU 交互开销
• 融合 GPU Kernel，为 RoPE、归一化与 FP8 量化编写融合专用算子，同一层的 Q/K/V 共用一次输入量化
• 环形 KV 缓存，视频历史 KV 改用环形缓存，窗口滑动时不再搬移历史数据
• 文本 KV 复用，文本条件的 KV 只在 Caption 更新时重新计算
• 轻量编解码，编解码器换用 TAEHV，进一步压缩开销

经过这些优化，文本编码器、30 层因果 DiT 与 VAE 全部常驻一张 RTX 5090。单步去噪的稳态生成速度达 83 FPS（两步约 57 FPS），显存峰值 18.5 GiB。游戏以 60 FPS 运行时，按键到画面响应的端到端延迟低于 150ms。

从少步蒸馏减少计算量，到 CUDA Graph 降低调度开销，再到融合 Kernel 与缓存优化提高执行效率，Matrix-Game 4.0 打通了一整条面向实时视频生成的优化链路。

这也是它能够将视频大模型游戏带到消费级显卡上的关键。Matrix-Game 4.0 的技术含量，很大程度上就体现在这套难以复刻的完整系统协同效率上。

让世界模型真正落地到游戏

让世界模型真正「走进游戏」，需要同时过好几关。

画面质量只是其中一环。能否在普通显卡上流畅运行，能否准确执行游戏规则，能否让开发者自由修改玩法，这些问题共同决定了 AI 生成的世界，究竟能走多远。

过去两年，Google DeepMind 的 Genie、Decart 的 Oasis、AlayaWorld 等项目不断刷新着世界模型的生成能力。Genie 3 已经实现 720p / 24 FPS 的实时生成，视觉记忆延长至约一分钟，但实际体验仍依赖云端，单次生成时长也受到限制。其他模型同样在画面质量、长时间生成与实时性之间寻找平衡。

如何跨过这些门槛？昆仑万维是这条赛道上持续投入时间最长的团队之一。

• 2025 年 5 月，Matrix-Game 1.0 开源，以 17B+ 参数规模面向 Minecraft 场景，成为工业界首个开源的 10B+ 交互式世界模型。
• 2025 年 8 月，Matrix-Game 2.0 开源，后来被 DiT 作者谢赛宁团队用作全球首个多人视频世界模型 Solaris 的技术基座。
• 2026 年 3 月，Matrix-Game 3.0 开始系统性地解决长期记忆问题。
• 2026 年 7 月 WAIC 上发布的 Matrix-Game 3.5，团队又引入 Patch Memory，在 NVIDIA H100 GPU 上实现 720p / 20 FPS 的单卡实时生成。其自动化数据管线已产出超过 500 万段视频切片，覆盖 1200 多个游戏场景。

到了 Matrix-Game 4.0，这条技术路线出现了更明显的提升。

从 3.5 的 720p / 20 FPS 到 4.0 的 480p / 60 FPS，背后是技术路线的一次主动取舍。3.5 更侧重画面质量与长期空间一致性，4.0 则优先解决低延迟、高帧率和消费级硬件部署问题。

4.0 是团队沿着「为视频模型套上 harness」这条路线完成的第一个工作：为视频模型搭建外部 Harness，让游戏引擎维护世界状态，让 Coding Agent 编写游戏规则，视频模型则专注于实时画面生成。

这条路线，恰好回应了 AI 世界模型走进游戏需要跨过的几道关卡。

第一关，突破视频模型的能力边界。不再让模型包办一切。 世界状态交给引擎维护，视频模型只负责把简单几何渲染成精细画面。状态不再只藏在生成的像素里，视频模型也有了持续的外部校正依据，不必单靠自己的隐式记忆撑住整个世界。

第二关，从云端走向本地。Matrix-Game 4.0 将文本编码器、DiT 和 VAE 全部部署在单张 RTX 5090 上，实现 480p / 60 FPS 的游戏运行帧率，按键到画面的端到端延迟低于 150ms。这意味着，具备明确游戏规则的 AI 生成游戏，已经能够在消费级显卡上实时运行，向普通玩家的本地游戏体验迈出了重要一步。

第三关，从能漫游到真正可玩。在 AI 生成的场景中自由行走，只是交互的起点。真正的游戏还需要明确、稳定的规则。在 Matrix-Game 4.0 中，规则由游戏引擎直接执行，玩家的操作也会产生明确的结果。当然，4.0 目前仍采用固定的场地和动作空间。多人共享同一个世界的联机体验，团队将在未来呈现。

第四关，从技术 Demo 走向开发生态。Matrix-Game 4.0 的游戏由 Coding Agent 编写，游戏规则以代码形式存在。想调整玩法，可以直接修改代码，无须为每一种新机制重新训练视频模型。

更重要的是，此次开源的不只有模型权重，还包括可供开发者修改、扩展和二次创作的游戏代码。这让 Matrix-Game 的潜在使用者从世界模型研究者，进一步扩展到游戏开发者和 UGC 创作者。

事实上，昆仑万维此前的持续开源已经产生了一定的生态效应。除了谢赛宁团队的 Solaris，NVIDIA 与浙江大学联合提出的 Light Interaction 也基于 Matrix-Game 3.0 构建，Adobe 的 RELIC 则将 Matrix-Game 纳入对比基准。而 4.0 将游戏代码也一并开放，为更多开发者参与提供了新的入口。

对于独立开发者，尤其是 OPC（一人公司）来说，这可能带来一种新的游戏开发方式：用 Coding Agent 将玩法写成代码，用视频模型生成视觉表现，先快速做出一个能够亲自上手的游戏原型，再决定是否投入更多资源。

从这个角度看，Matrix-Game 4.0 的意义已经超出了视频生成模型本身。它正在尝试降低 AI 游戏从想法到可玩原型的门槛，而这也可能成为世界模型走向实际应用的一条重要路径。

下一关，交给真正的玩家

Matrix-Game 4.0 的思路很好理解：让不同的模块各司其职。引擎负责维护状态，Coding Agent 负责规划，视频模型专注画面生成。

这套分工在传统游戏行业早已是常识。但在 AI 世界模型领域，过去两年，人们一直在探索如何让一个模型包办所有事情。Matrix-Game 4.0 提供了另一条路线：通过系统层面的协作，让不同模型发挥各自的长处。

Matrix Game 团队的判断是，「扩散模型更像一个渲染器，它擅长的是把画面画得真实，不擅长记住世界的状态、遵守游戏的规则。让它同时承担这些事，误差会越积越多。这几年编程智能体进步很快，搭一个轻量引擎的成本已经大幅降低，所以让引擎管世界、视频模型管画面，这条路现在走得通。」

当然，这套方案距离成熟还有不少工程问题需要解决，480p 的分辨率距离主流游戏的画质标准还有差距，当前演示也局限于固定场地和预设的动作空间，但它代表了 AI 生成的游戏，已经跨越了从「交互视频」到「上手畅玩」的门槛。

昆仑万维董事长兼 CEO 方汉此前在 WAIC 2026 上曾判断，2026 年将是「世界模型元年」。

如果 Matrix-Game 4.0 的技术路线得到进一步验证，世界模型的下一阶段，或许未必需要一个越来越庞大的视频模型，而是需要一套分工明确、协作高效的系统。随着这套方案走向开源，更多开发者也将有机会参与其中，探索新的玩法和交互形式。

过去，世界模型的进步主要由研究者定义：画面是否逼真、动作是否连贯、生成时间有多长。而当 AI 游戏真正变得可交互，评价标准也将悄然改变。

未来，AI 生成的世界也许会拥有接近 3A 游戏的视觉表现；实现跨玩家视角的一致性，让多个玩家从不同位置进入同一个世界；提供更细粒度的画面控制，让开发者自由调整场景、材质、光影和角色动作…

衡量世界模型的标准，将不只有分辨率、帧率和生成时长，还要看它能否支撑一个足够丰富、足够稳定，也足够好玩的世界，让玩家愿意一次又一次地回来。

技术演示可以让人惊叹几分钟，但一款真正好玩的游戏，需要让人愿意投入几十个小时，甚至成百上千个小时。

一个好消息是，昆仑万维计划在进一步优化运行效率、降低硬件门槛后，通过 Steam 推出技术预览版本，让更多玩家亲自体验。

Matrix-Game 4.0 已经展示了技术上的可能性。至于这条路线最终能走多远，下一关，或许该交给真正的玩家了。

文章来自于"机器之心"，作者 "冷猫"。