全在这里了，小白也可以一文读懂的“世界模型”

我们先来回顾一下近期相关事件：

6 月 18 日，Midjourney 发布首个 AI 视频生成模型 V1，标志其从静态图像创作向动态多媒体内容生产转型。V1 支持上传或用其他模型生成图像来生成视频片段，但有无法生成音频、时长限制等不足。Midjourney 透露长期目标是将多种技术融合为"世界模型"，使用户能在动态生成的虚拟环境中自由探索。

6 月 20 日，在华为开发者大会 2025 上，发布基于盘古多模态大模型的世界模型。该模型能为智能驾驶、具身智能机器人训练构建数字物理空间。在火星探测领域，可基于单张火星地表图片生成高精度数字物理空间，助力火星车训练避障能力与提升机械臂操作能力；在智能驾驶领域，输入相关信息可生成行车视频和激光雷达点云，为智能驾驶提供大量训练数据。

更多的人关注到了世界模型，但很多朋友又不了解其中细节。小编Ken哥今天就来为大家讲一讲关于世界模型的热点问题。本文将依据权威信息，来给大家介绍什么是世界模型、为什么需要世界模型、世界模型的发展简史、当前技术代表、权威观点、世界模型的能力拆解、技术难点、应用场景、评估挑战、与小白何干。

什么是世界模型？—— 从人类直觉到 AI 模拟

核心定义：AI 通过观察学习物理规则的心智模型

想象一下，当你看到一个手机从桌子上滑落时，你的大脑会瞬间做出反应，预判它可能坠落的轨迹，甚至下意识地伸手去接。这种基于日常经验和物理常识的直觉判断，就是人类大脑中"世界模型" 的一种体现。对于 AI 来说，世界模型可以理解为一种通过大量观察和学习，构建出来的能够模拟现实世界物理规则和动态变化的心智模型。以预测手机坠落轨迹为例，AI 的世界模型需要学习重力、物体运动轨迹、碰撞等物理知识，以及手机与周围环境（如桌子、地面）的交互关系，从而对手机未来的位置和状态做出合理预测。

类比解释：人脑的"常识引擎" vs AI 的"数字孪生"

从某种程度上说，人类大脑中的世界模型就像是一个强大的"常识引擎"。我们在成长过程中，通过不断地观察、体验和学习，积累了大量关于世界如何运作的常识。这些常识被编码在我们的大脑神经网络中，使得我们能够快速理解和应对各种日常场景。例如，我们知道太阳每天从东方升起、西方落下；物体在没有外力作用下会保持静止或匀速直线运动；水往低处流等等。当我们遇到新的情境时，大脑会自动调用这些常识，进行推理和决策。

而 AI 的世界模型，则类似于现实世界的"数字孪生"。它通过对大量数据（如视频、图像、传感器数据等）的学习，构建出一个虚拟的数字世界，这个数字世界尽可能地模拟真实世界的物理规律、物体属性和动态变化。就像工程师可以通过数字孪生模型对真实的桥梁进行结构分析和性能优化一样，AI 可以利用世界模型对各种场景进行模拟和预测，从而为决策提供依据。

关键能力：推理（因果）、预测（动态）、规划（行动）

世界模型赋予 AI 三项至关重要的能力：推理（因果）、预测（动态）和规划（行动）。

1. 推理（因果）能力：这使 AI 能够理解事件之间的因果关系。例如，当看到一个人推开一扇门，AI 的世界模型可以推断出是人的推力导致了门的运动，而不是门自己无缘无故地打开。这种因果推理能力是理解世界运作机制的基础，有助于 AI 在复杂的情境中做出合理的判断。

2. 预测（动态）能力：基于对物理规则和历史数据的学习，世界模型可以预测物体和环境的未来动态变化。比如，在自动驾驶场景中，AI 能够根据当前车辆的速度、行驶方向、周围车辆和行人的运动状态，预测接下来几秒钟内可能发生的情况，如前方车辆是否会突然刹车、行人是否会横穿马路等。准确的动态预测能力对于 AI 在动态环境中做出及时、正确的决策至关重要。

3. 规划（行动）能力：结合推理和预测能力，世界模型可以为 AI 制定实现目标的行动规划。以机器人完成一项复杂任务为例，如在杂乱的房间里找到特定物品并将其放到指定位置，机器人的世界模型需要分析房间内各种物体的位置和属性，预测移动过程中可能遇到的障碍，然后规划出一条最优的行动路径，指导机器人如何移动、抓取和放置物品，以最有效地完成任务。

为什么需要世界模型？—— 语言模型的局限

语言模型短板：懂语法但不懂物理

近年来，以 ChatGPT 为代表的大型语言模型（LLM）在自然语言处理领域取得了令人瞩目的成就。它们能够理解人类语言的语法结构，生成流畅自然的文本回复，在信息检索、文本生成、对话系统等方面发挥了重要作用。然而，语言模型存在一个明显的短板：虽然它们擅长处理语言信息，但对于真实世界的物理规则和常识缺乏真正的理解。

例如，当向 ChatGPT 询问"如果我把一个玻璃杯从桌子上推下去，会发生什么？" 它可能会根据文本数据中常见的描述，回答"玻璃杯可能会摔碎"。但这种回答并非基于对物理过程的真正理解，只是对语言模式的匹配。如果进一步追问"为什么玻璃杯会摔碎？"、"玻璃杯摔碎的过程是怎样的？" 语言模型可能就无法给出准确、深入的解释。因为它并没有建立起关于物体运动、碰撞、材料强度等物理知识的内在模型，只是在语言层面进行操作。

世界模型价值：让 AI 理解现实规则，驱动具身智能（机器人 / 自动驾驶）

世界模型的出现，正是为了弥补语言模型的这一缺陷，让 AI 能够真正理解现实世界的运行规则。对于机器人和自动驾驶等具身智能（Embodied AI）领域来说，世界模型具有不可替代的价值。

在机器人应用中，无论是工业生产线上的机械臂，还是家庭服务中的智能机器人，它们都需要与真实的物理环境进行交互。例如，一个负责打扫房间的机器人，需要理解家具的位置、形状和重量，知道如何避免碰撞，以及如何根据不同的清洁任务选择合适的工具和动作。只有具备世界模型，机器人才能在复杂多变的现实环境中自主、智能地完成任务，而不是仅仅按照预设的程序执行简单的动作。

在自动驾驶领域，车辆面临的是一个充满不确定性的动态交通环境。道路状况、天气条件、其他车辆和行人的行为等因素都在不断变化。自动驾驶系统依靠世界模型，可以实时感知周围环境，预测其他交通参与者的行为，提前做出合理的决策，如加速、减速、转弯或避让，从而确保行车安全。如果没有世界模型，自动驾驶汽车就如同盲人在复杂的道路上行驶，无法应对各种突发情况。

总之，世界模型是连接 AI 与现实世界的桥梁，它赋予 AI 理解、预测和适应真实环境的能力，为具身智能的发展提供了坚实的基础，推动 AI 从单纯的语言处理向全面理解和干预现实世界的方向迈进。

世界模型发展简史：从游戏 AI 到物理世界

里程碑 1：1990 年强化学习鼻祖 Sutton 提出 Dyna 算法（早期环境模拟）

世界模型的发展可以追溯到上世纪 90 年代。1990 年，强化学习领域的先驱理查德・萨顿（Richard Sutton）提出了 Dyna 算法，这一算法被视为世界模型发展的早期重要里程碑。

在强化学习中，智能体通过与环境进行交互，根据环境反馈的奖励信号来学习最优的行为策略。然而，传统的强化学习方法在面对复杂环境时，往往需要大量的实际交互数据才能收敛到较好的策略，效率较低。

Dyna 算法的创新之处在于，它引入了一个环境模型（可以看作是一种简单的世界模型）。智能体不仅可以在真实环境中进行交互学习，还可以利用这个环境模型在虚拟环境中进行模拟学习。通过在虚拟环境中快速试错，智能体可以积累更多的经验，从而加速在真实环境中的学习过程。例如，在一个简单的机器人导航任务中，Dyna 算法可以让机器人先在虚拟的地图环境中尝试各种路径，学习到哪些路径能够更快地到达目标，然后再将这些经验应用到真实的物理环境中。Dyna 算法为后续世界模型的研究奠定了基础，启发了研究者们通过构建环境模型来提升智能体的学习效率和决策能力。

里程碑 2：2018 年 Ha & Schmidhuber 用 RNN 建模游戏世界（《World Models》论文）

2018 年，大卫・哈（David Ha）和神经网络之父于尔根・施密德胡贝尔（Jürgen Schmidhuber）发表了一篇名为《World Models》的重要论文，在世界模型的发展历程中具有里程碑意义。他们提出了一种基于循环神经网络（RNN）的世界模型架构，用于对游戏世界进行建模。

神经网络之父于尔根・施密德胡贝尔（Jürgen Schmidhuber）

在这项研究中，他们以 Atari 游戏为实验对象。Atari 游戏包含了各种丰富的场景和动态元素，如不同形状的物体、移动的敌人、变化的环境等，对智能体的感知、预测和决策能力提出了较高的挑战。他们的模型通过学习游戏画面序列和对应的游戏操作，能够构建出一个内部的世界模型，这个模型可以预测游戏在不同操作下的未来状态。例如，在一个赛车游戏中，模型可以根据当前的赛车位置、速度、赛道状况以及玩家的操作指令，预测下一时刻赛车的位置和状态。

该研究的重要贡献在于它证明了使用深度学习技术可以有效地构建一个能够捕捉复杂动态环境的世界模型，并且这个模型能够用于预测和规划。这一成果激发了更多研究者对世界模型的兴趣，推动了相关技术在更广泛领域的应用探索，从游戏领域逐渐拓展到对真实物理世界的建模。

爆发点：2024 - 2025 年巨头入场（谷歌 Genie 2、Meta V - JEPA 2、英伟达 Cosmos）

2024 - 2025 年，世界模型领域迎来了爆发式的发展，各大科技巨头纷纷入场，推出了一系列具有重大影响力的世界模型。

2024 年 12 月，谷歌旗下的 DeepMind 发布了 Genie 2 模型。

Genie 2 可以通过单张图片和文字描述生成种类多样的可玩 3D 世界。它能够根据用户输入的文本描述和图像，实时生成交互式的三维场景。例如，输入"森林中的可爱人形机器人"，模型便可构建一个包含机器人角色和可探索环境的动态场景。用户可以通过键盘或鼠标操作角色在世界中进行跳跃、游泳等互动。Genie 2 在生成过程中能够模拟物体交互、动画、光照、物理反射以及"非玩家角色"（NPC）的行为，许多生成的场景画质接近 AAA 级别的电子游戏，甚至在物体视角一致性和场景记忆方面表现优异。

2025 年 6 月，Meta 发布了 V - JEPA 2 模型。这是一种"世界模型"，旨在帮助人工智能智能体理解周围的世界。V - JEPA 2 是 Meta 去年发布的 V - JEPA 模型的扩展版本，其训练数据包括超过 100 万小时的视频素材。这些数据旨在帮助机器人或其他 AI 智能体在物理世界中运行，理解并预测诸如重力等概念将如何影响事件的后续发展。例如，在某些场景中，机器人可能会面临手持盘子和锅铲，朝着放有煮好鸡蛋的炉灶走去的情况，AI 可以通过 V - JEPA 2 预测接下来最有可能的动作是用锅铲将鸡蛋移到盘子里。据 Meta 称，V - JEPA 2 的运行速度比英伟达的 Cosmos 模型快 30 倍。

英伟达也推出了 Cosmos 模型，致力于提升与物理世界相关的智能水平。虽然关于 Cosmos 模型的详细信息尚未完全公开，但从英伟达在 AI 领域的技术实力和布局来看，Cosmos 模型有望在机器人控制、自动驾驶等需要对物理世界进行精确建模和预测的领域发挥重要作用。

巨头们的积极投入和技术突破，使得世界模型从实验室研究逐渐走向实际应用的舞台，吸引了更多的关注和资源，加速了该领域的发展进程。

当前技术代表：主流模型一览

谷歌 Genie 2：从互联网视频学习"隐含行为"，生成可交互虚拟环境

谷歌的 Genie 2 是一个自回归潜在扩散模型，训练于大型视频数据集。它的核心优势在于能够从海量的互联网视频中学习各种"隐含行为"，并将这些知识应用到生成可交互的虚拟环境中。

在训练过程中，Genie 2 通过自动编码器将视频中的潜在帧传递到大型 Transformer 动力学模型。该模型使用与大语言模型类似的因果掩码进行训练，从而学习到视频中物体和环境的动态变化规律。在推理阶段，Genie 2 能以自回归方式进行采样，逐帧获取单个动作和过去的潜在帧，并使用无分类器指导（CFG）来提高动作可控性。

Genie 2 展现出了强大的生成能力和交互特性。它可以生成多种类型的 3D 世界，包括第一人称视角、等距视图或第三视角驾驶视频等不同视角的场景。在生成的世界中，能够模拟丰富的物体交互，如爆破气球、打开门、射击炸药桶等；还能实现角色动画、NPC 行为模拟、物理效果（如水、烟雾、重力、灯光、反射等）。

例如，输入真实世界的照片后，它可以很好地模拟风中摇曳的草或河中流动的水等自然现象。此外，Genie 2 具有长视界记忆能力，能够记住视野中不再存在的世界部分，并在它们再次可见时准确呈现。它还可以从同一起始帧生成不同的轨迹，为训练智能体模拟不同事实的体验。无论是人类玩家还是 AI 智能体，都可以通过键盘和鼠标在 Genie 2 生成的 3D 游戏世界里自由探索和互动。

Genie2目前定位为研究与原型工具，暂未向公众开放，需通过DeepMind或Hugging Face的测试通道申请访问。开发者可参考以下步骤准备体验：访问DeepMind官网（deepmind.google）或Hugging Face(huggingface.co/deepmind)，申请Genie2测试权限。Genie 2采用自回归潜在扩散模型，基于大型视频数据集进行训练。通过自动编码器处理后，视频中的潜在帧被输入大型Transformer动力学模型，该模型使用因果掩码技术完成训练，使其生成过程类似于大语言模型。在推理过程中，Genie 2逐帧生成动作和潜在帧。通过无分类器指导（CFG），进一步提升动作的可控性。结果是，无论是复杂角色动画还是物理模拟，它都能表现出卓越效果，例如模拟风吹草动或流水涌动的真实感。

• Meta V - JEPA 2：高效视频预测模型，30 倍提速于传统方案

Meta 的 V - JEPA 2 是一种自监督视频学习框架，其目标是通过"观察 + 少量实践" 让 AI 学会理解物理世界、预测未来状态并自主规划行动。与传统方法相比，V - JEPA 2 在数据效率和能力实现上取得了重大突破。

在预训练阶段，V - JEPA 2 采用了升级后的 JEPA 架构。通过掩码去噪任务，即在视频中预测被遮挡的语义特征（如物体轨迹），在 10 亿参数的 ViT - g 模型中学习通用视觉表征，支持 64 帧长视频和 384×384 高分辨率输入。同时，引入三维旋转位置编码（3D - RoPE），显式建模时间与空间关系（如"物体先左移后下落" 的时序），大大提升了模型对动态场景的理解能力。

在后训练阶段，V - JEPA 2 - AC 模型在预训练的基础上，利用 62 小时的机器人操作视频训练动作条件预测器。通过块因果注意力机制（仅关注动作相关区域）和模型预测控制（MPC），实现"动作→结果" 的因果推理。在给定目标图像（如"杯子在桌子右侧"）时，V - JEPA 2 能够通过交叉熵方法优化动作序列，每步仅需 16 秒，比基线模型快 15 倍，且无需针对新任务进行微调，即可实现零样本机器人控制。

实验结果表明，V - JEPA 2 在多个任务上表现出色。在视觉理解与预测方面，在 Something - Something - v2 数据集上的动作分类 top - 1 准确率达到 77.3%，超越传统模型 44%；在 Epic - Kitchens 数据集上的动作预测 recall - at - 5 达 39.7%，能够提前 1 秒预测人类动作（如"下一步倒水"）；在视频问答任务中，对齐 Llama 3.1 后，在 PerceptionTest（物理理解）中的准确率为 84.0%，超越依赖语言监督的模型。在机器人控制与规划方面，在新实验室环境中执行抓取、拾取放置任务的成功率达到 65% - 80%，对未见过的物体（如异形杯子）也能规划动作。其运行速度比英伟达的 Cosmos 模型快 30 倍，展现出了极高的效率和性能。

• 李飞飞 World Labs：单图生成 3D 物理世界，实时交互探索

由"AI 教母" 李飞飞联合创办的 World Labs 在 2024 年 12 月展示了首个成果 —— 一个可以从单张图像生成三维世界的 AI 系统，堪称"虚拟世界生成器"。该系统的亮点在于能够直接生成具有交互性、可编辑、可扩图的 3D 场景。

用户只需输入一张图片和相关文本描述，就能生成一个可实时交互探索的 3D 世界。例如，生成的场景中用户可以通过 W/A/S/D 键来控制上下左右视角，或者用鼠标拖动画面探索所生成的世界，不过目前的可移动范围仍然受限于较小的区域。在可编辑性方面，该工具配备了可控的摄像机效果和可调节的模拟景深，用户可改变其中物体颜色、动态调整背景光影、手动变焦、调节景深、在场景中插入其他对象、添加动画效果。

其可扩图能力则体现在利用 AI 技术对 3D 空间中的物体、环境结构及其动态变化进行预测和理解，即让 AI 工具仅凭部分图片就能"扩图"，想象出整个 3D 场景。与其他致力于 3D 内容生成的 AI 公司不同，World Labs 的技术重点在于预测 3D 场景，这种方式生成的场景兼具真实感和深度感，与某些 AI 生成视频的梦幻感形成了鲜明对比。

李飞飞认为空间智能是机器在 3D 空间和时间中感知、推理和行动的能力，而该成果是迈向空间智能的重要一步。电影、游戏等内容创作将是这项技术的重要应用领域，有望降低 3D 内容制作的成本、激发更多的沉浸式体验。未来，它还有望应用于增强现实（AR）和虚拟现实（VR）领域，帮助人类增强能力，例如佩戴 AR 眼镜的人可能不需要任何专业技能，就能修理汽车或完成复杂的操作。

权威观点：AI 领袖如何看？

杨立昆（Meta 首席 AI 科学家）："语言非智能全部，物理常识才是基石"

图灵奖得主、Meta 首席 AI 科学家杨立昆（Yann LeCun）一直是世界模型的坚定倡导者。他多次强调，语言并非智能的全部，物理常识才是构建真正智能系统的基石。

在杨立昆看来，现有的大型语言模型虽然在文本处理上表现出色，但缺乏对物理世界的理解，无法实现真正的智能。而世界模型能够让 AI 学习和掌握物理世界的规律，从根本上提升 AI 的认知能力，是通向通用人工智能的关键路径。他的观点不仅为世界模型的研究指明了方向，也引发了业界对 AI 发展路径的深入思考。

李飞飞（斯坦福教授）："从语言模型转向世界模型是 AI 突破关键"

斯坦福大学教授、人工智能领域的杰出学者李飞飞同样对世界模型寄予厚望。她认为，从语言模型转向世界模型是 AI 实现重大突破的关键所在。李飞飞指出，语言模型只是 AI 发展的一个阶段，要让 AI 真正具备人类般的智能，能够理解和适应复杂多变的现实世界，就必须构建强大的世界模型。她创办的 World Labs 正是致力于这一目标，通过研发先进的世界模型技术，推动 AI 在空间智能等领域的发展，为 AI 技术的应用开辟新的可能性。

核心能力拆解：世界模型能做什么？

场景理解：解析跳水动作"翻腾 1.5 周" 的物理轨迹

世界模型具备强大的场景理解能力，能够深入解析复杂场景中的物理过程。以跳水运动为例，当运动员做出"翻腾 1.5 周" 的动作时，世界模型可以结合力学原理，分析运动员的起跳速度、角度、身体姿态以及空气阻力等因素，精确计算出运动员在空中翻腾的轨迹和入水的位置。这种对场景中物理规律的准确理解，使得世界模型能够清晰地描述和解释各种动态场景，无论是体育赛事中的精彩瞬间，还是工业生产中的复杂操作，都能进行精准的分析和解读。

行为预测：预判人类做饭步骤（开冰箱→取调料→倾倒）

在行为预测方面，世界模型可以通过学习大量的人类行为数据，掌握日常生活中的行为模式和逻辑。以做饭过程为例，当观察到一个人打开冰箱时，世界模型能够根据已有的知识和经验，预判接下来可能的行为步骤，如取出调料、将调料倾倒进锅中等等。这种行为预测能力不仅基于对物体和动作的简单识别，更涉及到对因果关系和行为逻辑的理解，能够帮助 AI 提前做好应对准备，在智能家居、服务机器人等领域具有广泛的应用前景。

任务规划：机械臂自主移杯避障，无需预设编程

世界模型的任务规划能力让 AI 能够自主制定实现目标的行动方案。例如，在一个摆放着各种物品的工作台上，机械臂接到将一个杯子移动到指定位置的任务。机械臂内置的世界模型会首先分析工作台的环境，识别杯子和其他障碍物的位置、形状和属性，然后结合物理规则，预测在移动杯子过程中可能遇到的碰撞风险。基于这些分析和预测，世界模型会规划出一条最优的行动路径，指导机械臂在避障的同时，准确地抓取和移动杯子，整个过程无需进行复杂的预设编程，充分展现了世界模型强大的自主决策和任务执行能力。

技术难点：世界模型为什么这么难？

物理规则模拟：流体 / 碰撞等复杂动力学难以精准建模

尽管世界模型在不断发展，但模拟复杂的物理规则仍然是一项极具挑战性的任务。现实世界中的流体运动、物体碰撞等物理现象涉及到大量的参数和变量，具有高度的非线性和不确定性。以流体模拟为例，水的流动受到重力、粘度、表面张力等多种因素的影响，不同场景下的流体行为差异巨大，想要精确模拟十分困难。在物体碰撞模拟中，不仅要考虑物体的材质、形状、质量等属性，还需要准确计算碰撞瞬间的力的传递和能量转换，稍有偏差就会导致模拟结果与现实不符。例如，在一些 AI 生成的视频中，会出现"无咬痕饼干" 等不符合物理常识的现象，这正是物理规则模拟不准确的体现。

反事实推理：回答"如果 A 发生，B 会怎样？"

反事实推理要求 AI 能够回答"如果 A 发生，B 会怎样？" 这类假设性问题，这对世界模型来说是一个巨大的挑战。例如在自动驾驶场景中，需要模拟如果前方突然出现一个行人，车辆采取不同的避让策略会产生怎样的后果；在工业生产中，要预测如果设备某个部件出现故障，整个生产流程会受到哪些影响。进行反事实推理需要世界模型具备丰富的知识储备和强大的推理能力，不仅要理解当前的现实情况，还要能够构建出合理的虚拟场景，并对虚拟场景中的各种变化和结果进行准确预测，目前的技术水平还难以完全满足这一需求。

数据瓶颈：真实交互数据稀缺，依赖合成数据补充

世界模型的训练高度依赖大量的数据，但在实际应用中，获取真实的交互数据面临诸多困难。例如，在机器人操作、自动驾驶等场景中，收集数据需要耗费大量的时间、人力和物力，而且存在安全风险，难以获取足够丰富和多样化的数据。为了解决数据不足的问题，目前通常会使用合成数据来补充训练，但合成数据往往与真实数据存在差异，无法完全还原现实世界的复杂性和多样性。如何提高合成数据的质量，以及将合成数据与真实数据有效结合，是世界模型发展面临的重要难题。

应用场景：哪些领域将变革？

自动驾驶：赋予"老司机预判力"

在自动驾驶领域，世界模型能够让车辆具备"老司机" 般的预判能力。通过实时感知周围环境，世界模型可以分析其他车辆、行人、非机动车的运动状态和行为意图，预测它们未来的行动轨迹。例如，当识别到骑车人转头的动作时，世界模型能够判断骑车人可能有左拐的意图，从而提前提醒自动驾驶系统做好减速、避让等准备。此外，世界模型还可以模拟不同天气、路况下的驾驶场景，帮助车辆制定更合理的行驶策略，大幅提升自动驾驶的安全性和可靠性，推动自动驾驶技术从辅助驾驶向完全自动驾驶迈进。

机器人：从跳舞机器→通用劳力

世界模型将彻底改变机器人的应用形态，使其从只能执行简单重复动作的"跳舞机器"，转变为能够完成各种复杂任务的"通用劳力"。在家庭服务场景中，机器人可以利用世界模型理解家居环境和用户需求，自主完成打扫房间、整理物品、照顾老人小孩等工作；在工业生产领域，机器人能够根据世界模型规划的任务方案，灵活应对不同的生产需求，进行精密装配、质量检测、设备维护等操作。例如，一个具备世界模型的机器人在倒水时，能够根据杯子的形状、大小和当前水位，自动调整倒水的速度和角度，确保水准确倒入杯中且不会溢出，极大地拓展了机器人的应用范围和实用性。

科学模拟：电力系统、气候预测的跨尺度推演

在科学研究和工程领域，世界模型为复杂系统的模拟和预测提供了强大的工具。在电力系统中，世界模型可以对发电、输电、配电等各个环节进行建模，模拟不同发电方式（如火电、水电、风电等）的运行情况，预测电力负荷的变化，优化电网的调度和管理，提高电力系统的稳定性和效率。在气候预测方面，世界模型能够整合大气、海洋、陆地等多方面的数据，模拟气候变化的过程和趋势，预测极端天气事件的发生概率，为应对气候变化、制定环境保护政策提供科学依据。通过跨尺度的推演，世界模型帮助科学家和工程师更好地理解和掌控复杂系统，推动科学技术的进步和社会的可持续发展。

当然还有很多相关应用场景，这里不一一列举了，读者朋友们可以在评论区留下您认为的世界模型可以应用的场景。

评估挑战：如何衡量模型强弱？

三大测试基准

类似大语言模型，世界模型也有自己的benchmark。

1. IntPhys 2：这一基准测试专注于检测模型对反常识视频的识别能力。例如，向模型展示一段球向上飞且没有任何外力作用的视频，观察模型是否能够判断出该视频中的物理现象不符合现实世界的规律。通过大量类似的测试，评估模型对物理规则的理解和判断能力。

2. MVP Bench：主要用于测试模型在视频问答任务中的准确率。比如，在一段包含多个物体和动作的视频中，向模型提问"门后有多少个物体"，根据模型回答的准确性来衡量其对视频内容的理解和信息提取能力。这类测试能够考察模型对复杂视频场景的分析和理解水平。

3. CausalVQA：侧重于评估模型的因果推理能力，通过提出因果假设问题来测试模型。例如，在一段足球比赛的视频中，询问模型"若球员不拦截，球会进吗？"，要求模型根据视频内容和对因果关系的理解进行回答，从而判断模型在复杂场景下的因果推理能力。

残酷现实：顶尖模型（JEPA 2）得分仅为人类一半

尽管世界模型在不断发展，但目前的评估结果显示，即使是顶尖的模型，如 Meta 的 JEPA 2，在上述测试基准中的得分也仅为人类水平的一半左右。这表明世界模型在理解和应对复杂现实世界问题方面，与人类智能仍存在较大差距。模型在物理规则的深度理解、复杂因果关系的推理以及对模糊和不确定信息的处理等方面，还需要进一步的改进和提升，这也为世界模型的研究和发展指明了方向。

未来与学习：小白如何跟进？

爆发预测：对标 GPT 发展史，1-2 年内或迎"ChatGPT 时刻"

回顾 GPT 的发展历程，从最初的版本到引发全球热潮的 ChatGPT，技术的突破带来了巨大的社会影响。参照这一发展轨迹，许多专家预测，世界模型在未来 1-2 年内有望迎来类似的"ChatGPT 时刻"。随着各大科技巨头的持续投入和技术的不断创新，世界模型可能会在某些关键领域实现重大突破，其应用将更加广泛和深入，引发新一轮的 AI 技术变革，深刻改变人们的生活和工作方式。

学习路径

1. 基础：Python+PyTorch：对于想要学习世界模型的初学者来说，掌握 Python 编程语言是基础。Python 具有简洁的语法和丰富的库，非常适合 AI 开发。同时，学习 PyTorch 深度学习框架也是必不可少的，PyTorch 提供了灵活的张量操作和自动微分功能，方便用户构建和训练各种深度学习模型。通过学习 Python 和 PyTorch，能够为后续深入学习世界模型打下坚实的编程基础。这里肯定有朋友会说，你这不对呀，现在全网都在说不要学编程嘛，小编的理解是不要只靠学编程去找工作，因为大模型生成代码能力很强了，人人都可以学了，程序还是在的，而且也需要学习，编程可以为各项工作赋能，大家都学，你不学，不就掉队了嘛。

2. 进阶：多模态模型原理（VAE/Transformer）：世界模型通常涉及多模态数据的处理，如图像、视频、文本等。因此，深入理解多模态模型的原理至关重要。变分自编码器（VAE）和 Transformer 是多模态模型中的重要架构，VAE 能够学习数据的潜在表示，实现数据的生成和重建；Transformer 则以其强大的注意力机制，在自然语言处理和计算机视觉等领域取得了巨大成功。学习这些模型的原理和应用，有助于理解世界模型如何整合和处理不同模态的数据，实现对现实世界的建模和预测。

3. 实践：Hugging Face 社区 + 复现 Genie/V-JEPA：实践是掌握世界模型技术的关键。Hugging Face 社区是一个丰富的 AI 资源平台，提供了大量的预训练模型、代码示例和数据集。初学者可以在该社区中学习他人的经验，参与开源项目，获取最新的技术动态。同时，尝试复现像谷歌 Genie 2、Meta V-JEPA 2 这样的主流世界模型，通过实际操作加深对技术原理的理解，提高自己的开发能力。在复现过程中，不断调试和优化代码，积累实践经验，逐步提升自己在世界模型领域的技术水平。

参考内容

1. 谷歌 Genie 2 模型相关介绍https://ai.googleblog.com/2024/12/genie-2-building-worlds-with-ai.html

2. Meta V-JEPA 2 模型发布信息https://ai.meta.com/blog/v-jepa-2-advancing-world-models-for-ai-intelligence/

3. 李飞飞 World Labs 成果展示https://www.worldlabs.ai/

4. 关于世界模型发展历程的研究论文https://arxiv.org/abs/1803.10122

5. 谷歌DeepMind世界模型https://deepmind.google/discover/blog/genie-2-a-large-scale-foundation-world-model/

文章来自于“九章云极AlayaNeW”，作者“Ken”。