综述《给大一新生的三万字World Models 和 World-Action Models 入学指南》摘要笔记

本文为 human five 所著《给大一新生的三万字 World Models 和 World-Action Models 入学指南》的阅读笔记，保留原文结构，对核心观点进行摘要总结，仅供个人学习使用。

原文链接：https://mp.weixin.qq.com/s/Ny54gWtujYGz8AgbQxMhvw

摘要#

World Model 是一种经过学习得到的内部模拟器：给定当前状态与拟执行动作，它预测后续会发生什么，从而让智能体在真正做出选择之前，可以在“脑海中想象”选择带来的后果。

本文从建模方法和应用领域两个维度梳理该领域。

核心问题（区分各类方法的关键）：World Model 应当预测什么？它是否还需要输出机器人动作？

1. 引言#

心理学家 Kenneth Craik 在1943年提出：人类大脑内部承载着“外部现实的小规模模型”，大脑可以运行该模型来尝试不同备选方案、预判将会发生的事情，并在行动之前选择最优方案。

这正是 World Model 的核心直觉：一套从经验中学得的、用于刻画环境演化的内部模拟器，用于预测、规划与想象。具备 World Model的智能体不会仅对当下感知到的信息做出反应；它可以提出这样一个问题：“如果我执行这个动作，会发生什么？”，并且在真实世界执行动作之前，在内部安全、低成本、快速地给出答案。

该思想最先在 RL 领域具象化。RL 研究通过试错进行学习的智能体。该领域划分 model-free 和 model-based 智能体。model-free 智能体完全依靠执行动作、观测奖励完成学习，不会对世界的运行规律进行建模；而 model-based 智能体会先学习环境动力学模型，再利用该模型做规划。

model-based 路线的最大优势在于极高的样本效率：一个已经掌握“世界对动作如何做出响应”的智能体，每进行一次真实尝试，就可以在想象空间中完成数千次练习。

现代可学习 World Model 的时代一般认为始于 2018 年。Ha与Schmidhuber题为World Models的论文有力证明：智能体几乎完全可以在自身“梦境”（一个针对竞速游戏与射击游戏学得的模拟器）内部完成训练，得到具备竞争力的策略。此后相关研究迎来爆发式增长。
（代表性成果：Dreamer系列，MuZero）

2024‑2026 年，World Model 发展为互联网规模系统。
（代表性成果：
Google-Genie 单张图像/文本提示生成可交互世界
NVIDIA-Cosmos 面向物理 AI 的开源“world foundation models”
Meta-VJPA 2 实现 zero-shot 机器人规划 Microsoft-Muse/WHAM 可同时对游戏世界和其中的人物动作进行建模）

工业界现状（三大阵营）：

专门组建 World Model 实验室
押注 VLA 将二者集合（World-Action Model）

3.1 World Model vs World-Action Model#

World Model 回答预测问题：给定当前状态和动作，接下来会发生什么？本质是模拟器。
World-Action Model 更进一步：它既要想象期望的未来，同时输出抵达该未来所需要的动作，将模拟器与策略整合进同一个系统。

2. 问题定义、符号表示与分类体系#

本文统一使用符号： ae8c71c8444fdc91c1f7ab4e5c497c82

2.1 环境：MDP#

绝大多数 World Model 研究假设环境为 MDP。

MDP 可以通俗理解为：“世界处于某种状态；智能体执行一个动作；世界切换到新状态并返回奖励；循环往复。”

形式上，MDP 是元组 $(S, A, T, R, \gamma)$ ：状态集合 $S$ 、动作集合 $A$ 、转移函数 $T(s_{t+1} \mid s_t, a_t)$ （给出下一状态的概率）、奖励函数 $R(s_t, a_t)$ 、折扣因子 $\gamma$ （令近期奖励权重高于远期奖励）。智能体的目标是学习策略 $\pi_\theta(a_t \mid s_t)$ ，最大化期望折扣回报：

\mathbb{E}\left[\sum_t \gamma^t r_t\right]

绝大多数实际场景中，智能体无法直接看到真实状态 $s_t$ ，只能获取高维观测 $o_t$ （例如相机图像），也就是 POMDP。这也是很多 World Model 会先把观测压缩为紧凑隐状态，再对动力学建模的原因。

2.2 什么是 World Model，以及它是否真的重要#

2.2.1 什么是 World Model#

形式上，World Model 是对环境动力学的学习近似 $p_\phi$ 。最通用的带 action-conditioning 形式下，它基于当前状态与动作预测下一状态（或观测），通常同时预测奖励：

p_\phi(s_{t+1}, r_t \mid s_t, a_t) \approx T(s_{t+1} \mid s_t, a_t)\,p(r_t \mid s_t, a_t, s_{t+1}).

将该单步模型不断组合，智能体就可以从起始状态出发，在候选动作序列下 rollout 出一段长度为 $H$ 的想象轨迹，无需与真实环境交互。

区分本文每一种方法的关键设计选择有三点：

1.预测所处空间：原始像素、压缩隐空间、抽象表征，或者仅预测奖励与价值
2.模型训练方式：重构、next-token 预测、去噪、特征预测
3.模型是否具备 action-conditioning、是否支持交互

仅预测未来帧、不接收动作输入的被动预测器（大量视频生成工作）只能算狭义层面的 World Model。接受动作输入、可以回答“如果我执行 $a_t$ 会发生什么”的模型，才是完整意义的 World Model。而 WAM 会额外输出策略 $\pi_\theta$ ，同一个系统既做想象，又输出动作。

2.2.2 World Model 是否真的重要#

Richens 等人证明：任何能够在多步目标导向任务上具备泛化能力的智能体，都必然隐式学到环境的预测模型。换句话说，只要智能体具备胜任目标导向行为，无论设计者是否刻意实现，其内部就已经存在 World Model。

上述结论建立在两条强假设之上：智能体是确定性的，环境完全可观测。Cifuentes去掉这两条假设，将该定理拓展到随机智能体与POMDP，证明：随机智能体即便依靠自身动作的随机性，也不可避免会学习环境；同时弱化泛化能力的前提，即便是能力弱于Richens等人设定标准的智能体，也必须具备模型。因此该必要性论断相比最初版本适用性更强。

这个结论并不是说工程师必须手动构建 World Model；而是说，一个能力足够强的智能体，无论是否人为设计，内部最终都会演化出一套 World Model。如果一个系统可以稳定完成多种多样的多步目标，它内部一定存在某种机制在预测行为带来的后果。

上述结论可以看作 World Model 的“必要性定理”，它说明了“有能力的智能体内部一定包含一套模型”。但预测效果好不等于该模型已经还原显示世界的真实运行机理。

Vafa等人设计归纳偏置探测实验：在一个假定的 World Model衍生出的大量小任务上微调预训练sequence model，检验模型外推行为是否等价于它已经学到这套 World Model。一个参数量 109 M Transformer在模拟行星轨道数据集上对测试集轨迹预测近乎完美（ $R^2 > 0.9999$ ），但探测实验表明它内部偏向并不是牛顿力学状态；模型只是复现观测结果，并没有掌握生成观测背后的力学机制。

两组结果共同划定该领域核心不确定性：具备能力意味着内部存在模型；但预测准确不等于掌握真实世界机理。

2.3 World Model 的三类用途#

智能体拥有World Model之后，可以将它用于三类完全不同的用途：

1.规划：决策时刻，在模型内部 rollout 候选动作序列，对想象得到的结果打分，执行最优方案。这就是 MCP 与树搜索背后的思想：智能体行动之前先思考。

2.想象空间内学习：在模型生成的轨迹上训练策略，而不是依赖真实环境交互，极大降低对真实交互的需求；真实环境交互缓慢、成本高昂，有时还存在危险。Dreamer 是该范式的典型代表。

3.数据生成：利用模型合成大量高真实性训练数据（想象得到的 rollout），以低成本扩充小规模真实数据集。机器人学和自动驾驶领域最常使用该方式。

2.4 World Model 的分类体系#

主坐标轴为建模方法，回答“模型应当预测什么、如何预测”。以数值形式的预测目标（像素、token、隐状态、价值）作为分类依据，划分出6大家族。

次坐标轴为应用领域：RL 与控制、机器人学（含 WAM）、自动驾驶、游戏与交互式环境、通用仿真与空间智能、语言-代码与 agentic 环境。

两条坐标轴大体上相互独立。几乎任意一种建模方法，都可以应用到几乎任意一个领域。

3.背景知识：World Model 的组成要素#

每一套 World Model 都融合了三个方向的思想：

1.RL 解释我们为什么需要模型，以及如何使用模型；
2.生成建模提供预测未来的工具；
3.自监督表征学习决定模型选择预测什么内容

下面对上述三者进行简单介绍。

3.1 RL 简述#

在 RL 中，智能体反复观测环境、执行动作、接受奖励，目标是最大化总奖励。

两个核心概念：

1.状态价值 $V^\pi(s)$ ：从状态 $s$ 出发、遵循策略 $\pi$ 可以获得的未来总期望奖励
2.动作价值 $Q^\pi(s, a)$ ：先执行动作 $a$ ，再遵循策略 $\pi$ 得到的总期望奖励

二者服从贝尔曼方程。贝尔曼方程建立状态价值与奖励、下一状态价值之间的关系：

Q^\pi(s_t, a_t) = \mathbb{E}\left[r_t + \gamma V^\pi(s_{t+1})\right].

model-free 方法完全依靠采样得到的经验估计 V、Q，或者直接估计策略。model-based 方法则学习转移函数 T 和奖励函数 R，然后使用它做规划或者生成想象经验。

model-free 方法简单、无 model bias，但对数据需求量极大；model-based 方法样本效率极高，但会遭遇 model bias（学得模型存在误差，规划器会利用模型缺陷，造成“想象中可行，现实中失败”的情况）。

处理 model bias 的方法包括不确定性估计（PILCO，以及它深度网络后继 PETS，使用一组概率网络做集成，通过集成成员之间输出的分歧标记模型没有充分掌握的状态，使用MPC做规划）、短 rollout（MBPO）、面向价值的训练目标（MuZero）。

3.2 生成建模工具集#

为预测高维观测（如图像），World Model 需要一套表征与生成高维数据的工具。

常见的四种工具：

1.VAE：VAE 学习将观测压缩为短小隐向量 Z（Encoder），并且重构观测（Decoder），同时保证隐空间平滑。World Model 利用编码器将像素压缩为易于处理的隐状态。

2.自回归模型与 tokenization：LLM 一次预测一个 token，全部条件于历史所有 token，使用 Transformer 架构。同样架构可以处理图像（切分为 patch 作为 token）。视频可以通过 VQ-VAE、VQGAN 这类 vector-quantized autoencoder 把帧转为离散 token。

3.Diffusion 与 Flow Matching：diffusion models从纯噪声出发，迭代去噪得到干净样本；latent diffusion则在压缩隐空间完成生成，效率更高。Flow Matching是一套紧密相关、速度通常更快的替代方案，学习一个平滑“速度场”，把噪声映射为真实数据。

4.对比学习与自监督学习：模型不一定非要重构像素，也可以通过预测特征空间内的关系来学习表征。DINOv2这类冻结自监督特征可以提供丰富的物体感知图像描述；部分World Model直接预测这类特征，而不是原始像素。

3.3 自监督 World Model 与预测目标之争#

World Model 究竟应该预测什么？ 三种观点：

1.像素生成模型（diffusion、autoregressive-token）预测完整未来观测，视觉表现力强，但会消耗算力去建模那些不可预测的细碎细节（每一片树叶，每一处反光），采样开销大；
2.value-equivalent 模型只预测奖励和价值，做规划效率最高，但无法输出可供查看的 rollout 画面；
3.JEPA 联合嵌入预测架构（中间路线）：预测抽象的未来表征，丢弃不可预测的无关细节，同时保留行动所必须的结构。

3.4 思想溯源与发展时间线#

22487cd7db1cf3fac5266e3432e51b75

4. 建模方法#

世界模型的核心是学习环境的动态变化规律，从而预测未来状态，并为智能体的规划与决策提供依据。不同方法的主要区别在于两个问题：模型应该预测什么，以及如何学习和利用这些预测。

根据预测目标、模型结构和训练方式，现有世界模型可以归纳为六类：循环状态空间模型、价值等价模型、自回归 Transformer 模型、扩散生成模型、联合嵌入预测模型，以及视频生成基础模型。

这些方法分别侧重样本效率、决策能力、序列建模、视觉生成、抽象表征与大规模泛化。

4.1 循环状态空间模型（RSSM）#

循环状态空间模型（Recurrent State-Space Model，RSSM）是基于模型的强化学习中的经典架构，也是 Dreamer 系列方法的基础。

其核心思想是：将高维观测压缩为低维隐状态，在隐空间中预测未来，并利用预测结果训练智能体。 这样可以避免在原始像素空间中反复模拟环境，降低规划与学习的计算成本。

4.1.1 核心原理#

RSSM 将隐状态划分为两个部分：

确定性状态：通常由门控循环单元（GRU）更新，负责整合历史观测和动作信息，维护环境的时序记忆。

随机状态：由学习得到的概率分布生成，用于表示状态的不确定性及可能出现的不同未来。

两者共同描述环境当前状态。训练过程中，模型通过预测观测、奖励等信息，并约束预测状态与观测后验状态的一致性，学习环境动力学。

完成训练后，智能体可以在隐空间中执行多步预测，即“想象推演”（imagination rollout），进而评估候选动作或优化策略。

这种方法不需要在每次决策时重建完整的视觉场景，而是通过紧凑的状态表征保留与任务相关的信息。

4.1.2 代表性工作#

PlaNet 首次提出 RSSM 架构，并使用交叉熵方法（CEM）在隐空间中搜索动作序列。它证明了仅依靠学习得到的隐式动力学模型，也能够在视觉控制任务上取得具有竞争力的表现。

Dreamer 系列进一步将隐空间预测与强化学习结合：

Dreamer V1：在想象轨迹上训练 Actor-Critic，使策略学习不再依赖每一步都与真实环境交互。

DreamerV2：引入离散类别隐变量，以更好地建模 Atari 等具有离散状态变化的环境。

DreamerV3：通过 symlog 变换、双热编码价值预测（two-hot value prediction）和 KL 平衡等技术，提高训练稳定性与跨任务适应能力。它使用统一的超参数配置完成了大量不同类型的控制任务，并实现了在 Minecraft 中自主获取钻石。

围绕 Dreamer 架构，后续研究主要从以下方向展开：

真实环境部署与长程规划。 DayDreamer 将隐空间强化学习应用于真实机器人，使四足机器人能够直接通过物理交互学习行走。Director 引入分层控制结构，由高层策略设定隐式目标，低层策略负责执行，以改善稀疏奖励和长时序任务中的规划能力。

表征学习与探索。 Dreaming 使用对比学习替代像素重建，减少模型对无关视觉细节的依赖。MWM 则将视觉表征学习与动力学学习解耦，利用掩码自编码器学习视觉特征，以缓解小物体信息在联合训练中丢失的问题。Plan2Explore 进一步利用模型的不确定性引导探索，使智能体能够在没有特定任务奖励的情况下主动收集有价值的经验。

架构扩展。 Dreamer 4 将循环动力学结构升级为高效 Transformer，并采用名为 Shortcut Forcing 的生成式训练目标。它不仅能够实现实时交互式模拟，还能完全依靠离线数据训练策略，并在真实 Minecraft 环境中完成获取钻石的任务，展示了大规模生成模型与隐空间强化学习结合的潜力。

下图是 RSSM 家族 World Model 的经典工作对比。“Decoder”代表是否重构像素。AC = 在想象空间训练actor‑critic；MPC = 模型预测控制；TD = temporal‑difference价值学习。

4.1.3 优势与局限#

RSSM 的主要优势是样本效率较高，能够在紧凑隐空间中同时完成状态预测与策略优化，尤其适合真实环境交互成本较高的强化学习任务。

其局限主要包括：

1.联合优化观测重建与动力学预测时，模型可能过度关注视觉细节，而忽略小型但与任务密切相关的物体。

2.隐状态需要压缩历史信息，可能难以完整保留长期依赖。

3.多步想象仍然存在模型误差累积，可能导致策略利用不准确的预测结果。

这些问题推动了不依赖像素重建的价值等价模型，以及基于 Transformer 的长序列建模方法的发展。

4.2 价值等价与面向规划的模型#

与 RSSM 通常学习环境状态及其变化不同，价值等价模型（Value-Equivalent Models）采用更直接的思路： 如果世界模型的最终用途是决策，那么它不必准确重现整个环境，只需要预测足以支持正确决策的信息。

这一思想将世界模型的学习目标从环境重建转向奖励、状态价值和策略预测。

4.2.1 核心原理#

价值等价模型通常包含三个部分：

1.表征网络：将当前观测或历史信息编码为隐状态。

2.动力学网络：根据当前隐状态与候选动作，预测后续隐状态及相关奖励。

3.预测网络：根据隐状态估计状态价值和动作策略。

与需要重建图像的方法不同，这类模型主要通过奖励、价值、策略及一致性相关的目标训练，不要求隐状态能够还原原始观测。

其理论基础是价值等价原则：在给定决策任务和相关策略集合的条件下，若不同模型能够提供相同的价值评估或决策结果，那么它们在规划意义上可以视为等价。

因此，模型无需完整学习环境的所有细节，而应优先保留影响动作选择的信息。

4.2.2 代表性工作#

早期的 Predictron、Value Prediction Networks（VPN）和 Value-Aware Model Learning（VAML）已经体现了这一思想，即将模型预测与价值学习、规划质量直接联系起来。

MuZero 是该路线最具代表性的工作。它结合隐式动力学模型与蒙特卡洛树搜索（MCTS），在不显式学习游戏规则、也不重建游戏画面的情况下，实现了围棋、国际象棋、将棋和 Atari 游戏中的高水平决策。

MuZero 的成功说明：用于规划的世界模型不一定需要准确预测未来画面，关键是能否正确评估动作及其后果。

后续研究主要围绕搜索效率、环境不确定性和样本效率展开：

Sampled MuZero：通过采样候选动作，扩展到大规模及连续动作空间。

Stochastic MuZero：引入随机事件节点，使搜索能够显式考虑环境中的随机性。

Gumbel MuZero：改进有限搜索预算下的动作选择与策略改进过程。

MuZero Unplugged：将 MuZero 扩展至离线强化学习场景。

EfficientZero 通过自监督一致性约束，使模型预测的隐状态与真实后续观测编码得到的状态保持一致，显著改善了低数据预算下的学习效率。EfficientZero V2 则进一步将这一思路推广到连续控制任务。

UniZero 使用 Transformer 建模更长的历史信息，缓解传统 MuZero 将历史压缩为单个隐状态所带来的信息损失。它在部分需要长期记忆的部分可观测环境中表现出优势，但并非在所有标准基准上都优于原有方法。

另一条重要路线是基于隐空间的模型预测控制（MPC）。

TD-MPC 和 TD-MPC2 将短期隐状态预测、奖励与价值学习相结合，通过有限步动作搜索及终端价值估计实现高效控制。相比完整生成观测，这类方法更加注重规划所需的信息。

Newt 在 TD-MPC2 的基础上加入语言条件和多任务预训练，将这一范式扩展到包含 200 项连续控制任务的 MMBench 基准，探索世界模型在不同任务和机器人形态之间的迁移能力。

作为对照，SimPLe 使用动作条件视频预测学习 Atari 环境，MBPO 则通过短时模型推演降低动力学误差的影响。两者说明，提高基于模型的强化学习性能不仅可以改变预测目标，也可以通过限制预测时域或调整模型使用方式来控制误差。

4.2.3 优势与局限#

价值等价模型的主要优势是将模型容量和计算资源集中用于决策相关信息，减少不必要的视觉重建开销，因此适合具有明确奖励或优化目标的控制任务。

但这种任务导向也带来了局限：

1.学到的隐状态可能只对当前任务有效，迁移到新任务时缺乏必要的信息。

2.不重建观测，使模型内部错误更难通过直观的视觉结果进行检查。

3.模型的价值预测质量依赖训练数据、策略覆盖范围及奖励设计。

因此，价值等价模型更适合回答“应该采取什么动作”，而不一定适合回答“未来世界的完整状态是什么”。

4.3 自回归 Token 与 Transformer 世界模型#

自回归世界模型（Autoregressive World Models）借鉴语言模型的核心思想：将环境交互过程表示为序列，通过预测后续元素学习世界的变化规律。

其基本思路是把视觉观测、动作和奖励转化为序列，再利用 Transformer 预测未来。

这一方法能够直接利用语言模型领域成熟的序列建模、注意力机制和规模化训练技术。

4.3.1 核心原理#

典型的视觉 Token 世界模型包含两个阶段。

首先，模型通过 VQ-VAE 等视觉编码器，将图像压缩为离散 Token。每一帧图像不再以原始像素表示，而是变成由有限词表中的视觉 Token 组成的序列。

随后，Transformer 根据历史视觉 Token 和动作信息，自回归地预测下一时刻的 Token，并在需要时同时预测奖励与回合结束信号。

预测得到的 Token 可以通过解码器重新生成图像，也可以直接用于后续状态预测和策略训练。

这种方法将视频预测转化为类似语言模型的序列预测任务。相比传统循环网络，Transformer 能够通过注意力机制更灵活地利用历史信息，但计算成本仍然受到序列长度和 Token 数量的影响。

4.3.2 代表性工作#

table-02-token-models-hd Trajectory Transformer 将强化学习轨迹转化为序列建模与规划问题，为这一方向奠定了基础。Decision Transformer 则使用回报条件序列建模学习策略，虽然不直接构建环境动力学模型，但展示了 Transformer 在决策序列学习中的潜力。

IRIS 是视觉 Token 世界模型的重要代表。它利用 VQ-VAE 编码 Atari 游戏画面，通过自回归 Transformer 预测未来，并在生成的轨迹上训练智能体。

在此基础上：

Delta-IRIS：重点编码帧间变化，减少冗余预测，提高推理效率。

TWM：利用 Transformer-XL 建模状态、动作与奖励序列，增强长期记忆能力。

STORM：结合离散隐变量与 Transformer 主干，在视觉强化学习中实现高效训练。

TransDreamer：以注意力机制替代传统循环动力学结构，连接了 RSSM 与 Transformer 两类方法。

除了直接用于控制，序列建模还引出了一个重要问题：预测序列是否足以让模型形成对环境内部状态的理解？

Othello-GPT 提供了一项具有代表性的实验。研究者仅使用黑白棋的合法落子序列训练 Transformer，没有向模型提供棋盘画面或显式规则，却发现模型内部形成了可被探测的棋盘状态表征。进一步的干预实验表明，修改相关内部表征能够影响模型对后续合法落子的判断。

这说明，在某些结构明确的环境中，序列预测可以促使模型学习生成数据所依赖的隐藏状态。但其他研究也发现，准确的序列预测未必意味着模型掌握了真实的底层动力学规律。因此，预测准确性与世界机制理解之间不能直接画等号。

4.3.3 从压缩预测到可交互生成#

视觉 Token 的数量是影响计算效率的重要因素。传统方法需要为每帧图像编码大量空间 Token，而相邻视频帧往往包含高度重复的信息。

DeltaTok 等研究尝试使用更紧凑的连续变化表征替代密集的逐帧 Token 网格，从而降低长视频建模成本。需要注意，这类连续表征方法已超出经典离散 Token 自回归模型的范围，其共同目标是减少冗余并延长有效建模时域。

Genie 则展示了另一种能力：从没有动作标签的游戏视频中学习潜在动作（latent actions），使用户能够通过离散控制信号与生成的场景交互。

这一思路将世界模型从被动视频预测推进到可控环境生成。类似的序列建模方法也被用于自动驾驶和游戏模拟，例如 GAIA-1、WHAM 和 MineWorld。

4.3.4 优势与局限#

自回归 Transformer 世界模型的优势在于：

1.可以利用成熟的 Transformer 架构与大规模预训练方法。

2.便于联合建模视觉、动作、奖励等不同类型的序列信息。

3.注意力机制有助于捕获长距离时间依赖。

4.离散化或其他压缩表示能够降低高维视觉预测成本。

主要局限包括视觉压缩造成的信息损失、长序列的计算开销，以及逐步预测引起的误差累积。

此外，自回归预测能够学到有用的环境表征，但不能保证模型具备稳定的物理一致性或可靠的反事实推理能力。

4.4 扩散模型与生成式世界模型#

与自回归模型逐步预测 Token 不同，扩散模型通过学习去噪过程生成未来状态或视觉观测。

这类方法既可以直接在像素空间生成图像，也可以在经过编码器压缩的连续潜空间中生成视觉表征。

其主要特点是利用生成式建模能力预测未来轨迹或画面，在保持较高视觉质量的同时支持动作控制与交互模拟。

按照主要用途，可以分为面向控制的轨迹扩散和面向交互的视觉生成两条路线。

4.4.1 面向控制的轨迹扩散#

传统模型通常从当前状态出发，逐步预测下一状态。预测时域越长，模型误差越容易累积。

轨迹扩散采用不同思路：直接生成包含多个未来时间步的状态或动作序列，并利用扩散过程对整段轨迹进行优化。

Diffuser 和 Decision Diffuser 是这一方向的代表，将轨迹生成与条件规划结合，使模型能够根据目标或回报信息生成候选行为。

后续研究进一步发展了这一思路：

DWM：采用多步未来预测，减少仅依赖单步递推所带来的误差。

PolyGRAD：利用策略梯度信息引导轨迹生成，使合成轨迹与当前策略更加一致。

DIAMOND：直接在像素空间训练扩散世界模型，并利用生成环境中的交互经验训练智能体。

DIAMOND 的研究结果表明，在某些视觉控制任务中，离散 Token 压缩丢失的细节可能直接影响策略表现。因此，更高保真度的视觉建模不仅关系到画面质量，也可能影响智能体的决策能力。 table-03-diffusion-engines-hd

4.4.2 面向交互的生成式模拟器#

另一条路线将生成模型作为神经游戏引擎：给定历史画面和用户动作，模型直接生成动作执行后的下一帧，而不是调用传统游戏引擎中的显式渲染与状态更新规则。

GameNGen 是这一方向的重要里程碑。它基于扩散模型模拟经典游戏 DOOM，在单块 TPU 上实现约每秒 20 帧的交互生成。其训练采用两个阶段：首先利用强化学习智能体收集游戏轨迹，再训练扩散模型根据历史画面和动作预测后续画面。

Oasis 将这一思路扩展到可交互的 Minecraft 场景，结合扩散 Transformer 与 Diffusion Forcing 等技术，探索持续生成的稳定性。

后续系统进一步面向更长时间、更复杂场景的交互生成。例如：

Matrix 系列：研究长期、可控的视频生成及其时空一致性。

GameGen-X：探索跨游戏类型的通用交互式视频生成。

WorldMem：为生成模型引入显式历史记忆，通过位姿与时间信息检索过去的场景。

Geometry Forcing：利用预训练几何模型的表征约束生成过程，改善空间结构与相机运动的一致性。

这些工作说明，交互式世界模型面临的问题已不只是单帧生成质量，而是如何维持持续变化的环境状态。

4.4.3 长时序生成的关键难题#

扩散式世界模型的突出挑战是长时序漂移（drift）。

当模型持续使用自己生成的画面预测下一帧时，细微误差可能不断积累，最终导致场景结构变化、物体消失或历史状态不一致。

这一现象的重要来源之一是训练与推理分布失配（exposure bias）：

训练时，模型主要根据真实历史观测预测未来；推理时，却需要根据自身生成的、不完全准确的观测继续预测。模型可能缺乏处理这类偏差输入的能力。

不同研究从多个角度缓解这一问题：

第一，改进训练方式。 GameNGen 通过向历史上下文引入噪声，提高模型修正错误输入的能力。Diffusion Forcing 为不同时间步设置独立噪声水平，将序列建模与扩散训练统一起来。Self Forcing 则直接让模型在训练阶段使用自身生成的轨迹，缩小训练与推理之间的差异。

需要区分的是，Self Forcing 本身主要面向视频生成，并不一定包含动作条件，因此更适合作为世界模型的相关训练技术，而非独立的交互式世界模型。

第二，增加长期记忆。 WorldMem、RELIC 和 Matrix-Game 3.0 等方法通过历史帧检索、空间位置编码或压缩的注意力缓存，帮助模型在视角重新返回某一场景时恢复之前的环境状态。

第三，引入几何约束。 Geometry Forcing 等研究利用三维几何表征改善视觉生成的一致性，减少相机运动和物体交互时的结构错误。

4.4.4 优势与局限#

扩散模型的主要优势是高质量视觉生成以及对复杂、多模态未来分布的建模能力，适合视频模拟、交互式游戏和需要视觉反馈的智能体训练。

但它仍面临三个主要挑战：

计算成本：迭代去噪通常较昂贵，实时生成需要特殊的模型结构或推理加速技术。

长期一致性：模型可能遗忘历史场景，或在连续生成中积累错误。

物理可靠性：生成画面符合视觉直觉，并不代表其中的运动和交互满足真实物理规律。

因此，视觉保真度与环境动力学准确性仍然需要分别评估。

4.5 JEPA（joint-embedding predictive architectures）#

前述生成式方法通常预测图像、视频 Token 或可解码的视觉表征。联合嵌入预测架构（Joint-Embedding Predictive Architecture，JEPA）则提出另一种思路：

世界模型不必预测未来画面的全部细节，而应学习能够表达重要环境状态的抽象表征，并预测这些表征如何变化。

这一方向尤其关注视觉生成任务中的信息冗余：现实场景中存在大量难以精确预测、但对决策影响很小的细节，例如纹理、光照变化或树叶的细微运动。

如果模型将大量计算资源用于预测这些信息，反而可能削弱对物体运动、空间关系和交互规律的学习。

4.5.1 核心原理#

经典 JEPA 架构通常包含三个部分：

1.上下文编码器：从当前可观测信息中提取特征。

2.目标编码器：提取被掩码区域或未来观测的目标特征。

3.预测器：根据上下文特征预测目标特征，使预测结果与目标编码器输出保持一致。

与像素重建方法不同，JEPA 不要求模型通过解码器还原图像，而是直接在特征空间中完成预测。

对于带动作条件的世界模型，预测器还会接收动作信息，从而学习不同动作对未来隐状态的影响。

其主要训练风险是表征坍塌（representation collapse）：如果编码器把不同输入都映射为相同或近似相同的特征，那么预测损失可以很低，但表征将失去区分环境状态的能力。

早期 JEPA 通常使用停止梯度、非对称编码器和目标网络更新等机制提高训练稳定性；后续研究则尝试通过更加明确的表征正则化解决这一问题。 table-04-jepa-hd

4.5.2 从视觉表征学习到机器人规划#

I-JEPA 将联合嵌入预测应用于图像自监督学习，通过可见区域预测被掩码区域的特征，避免直接进行像素重建。

V-JEPA 将这一思想拓展到视频，利用时空掩码预测学习视觉运动和场景变化的表征。

V-JEPA 2 进一步扩大模型和训练数据规模，利用超过一百万小时的视频数据学习通用视觉表征，并展示了视频理解、未来预测与规划之间的联系。

其中，V-JEPA 2-AC 是面向机器人控制的重要扩展。它在预训练视觉表征的基础上，使用不足 62 小时的机器人交互视频进行动作条件训练，使模型能够根据候选动作预测未来隐状态。

规划时，系统根据目标图像提取目标表征，在隐空间中推演不同动作序列，并选择预测结果最接近目标的动作执行。

研究在不同实验室的 Franka 机械臂上展示了零样本迁移能力，即不需要针对部署环境重新收集任务数据或训练专用奖励模型。

这一结果说明，大规模被动视频预训练可以为机器人学习提供有用的先验，而相对少量的动作条件数据能够进一步将其转化为可用于规划的动力学模型。

4.5.3 表征学习与动力学学习的改进#

JEPA 路线的一项重要研究问题是：如何在保证表征有效性的同时，减少对复杂训练技巧和预训练编码器的依赖。

LeJEPA 从理论角度研究表征正则化，在其分析框架下，将各向同性高斯分布作为有利于下游预测的目标嵌入分布，并提出 SIGReg（Sketched Isotropic Gaussian Regularization）。

SIGReg 通过比较随机一维投影上的分布来约束高维特征，避免直接估计完整的高维分布，从而降低计算成本。

与依赖教师网络或停止梯度的传统训练方案相比，LeJEPA 使用更简洁的预测目标与正则化目标，在多种网络结构和数据集上验证了有效性。

LeWorldModel（LeWM）将这一思路应用于端到端世界模型学习，仅使用隐状态预测损失与高斯正则化，便能够从原始像素稳定训练。在多种二维和三维控制任务中，它展示了较高的规划效率，以及不依赖大型冻结视觉编码器的潜力。

不过，高斯正则化的优势仍受数据分布和任务结构影响，不能据此认为所有理想世界模型的隐状态都必然服从同一种分布。

4.5.4 从特征预测走向结构与因果理解#

另一组研究关注更深层的问题：如果模型能够准确预测未来特征，是否意味着它真正恢复了环境中的隐藏状态及动力学机制？

这一问题涉及可辨识性（identifiability）。相关理论工作研究了在特定的状态分布、转移过程和观测假设下，能否从学习到的特征中恢复真实环境状态。

对于带动作条件的世界模型，问题还涉及动作覆盖范围。如果训练数据中的动作缺乏足够变化，那么模型即使能够准确预测已有动作的结果，也未必能正确预测未见过的动作。因此，被动视频预测能力并不自动等价于可靠的动作条件预测能力。

在具体方法上，研究主要沿以下方向推进：

DINO-WM：使用冻结的 DINOv2 视觉特征学习动作条件动力学，在隐空间中进行目标导向规划。

HWM：通过长、短时间尺度的分层世界模型改善长程规划，让高层预测为低层控制提供子目标。

C-JEPA：将掩码预测从图像块扩展到物体级隐状态，促使模型根据其他物体的信息推断被遮蔽物体的状态，从而学习物体之间的关系与交互。

PLDM：探索使用无奖励的离线数据学习潜在动力学，并研究这类模型在新场景中的泛化能力。

其中，C-JEPA 的意义在于将学习重点从一般视觉特征转向物体间的交互结构。相比单纯预测图像块，物体级建模为学习组合关系、状态变化和反事实推理提供了更直接的归纳偏置。

4.5.5 优势与局限#

JEPA 类模型的主要优势在于：

1.无需完整重建图像，可以减少无关视觉细节带来的计算开销。

2.特征空间通常更加紧凑，有利于预测与规划。

3.可以利用大规模无标注图像和视频学习可迁移表征。

4.具备与机器人动作条件模型相结合的潜力。

主要局限在于：抽象表征究竟应该保留哪些信息，尚缺乏通用答案。

过度压缩可能丢失控制所必需的细节，而准确的特征预测也不能自动保证模型掌握因果关系或真实动力学。因此，如何在信息压缩、预测能力和动作可辨识性之间取得平衡，仍是这一方向的重要问题。

4.6 视频生成基础模型与通用世界模拟器#

前五类方法主要从网络结构或学习目标出发构建世界模型。近年来，另一条路线尝试通过大规模视频预训练，直接学习具有广泛场景适应能力的生成式模型，并将其作为通用世界模拟器。

其核心假设是：当模型在足够丰富的视频数据上学习时，可能逐渐形成对物体、空间、运动及部分物理规律的内部表征。

这一方向与扩散模型和自回归模型存在明显重叠，但更强调模型规模、跨领域泛化能力与通用模拟能力。

table-05-video-foundation-models-hd

4.7 跨家族融合与收敛#

上述六类方法提供了理解世界模型的不同视角，但并不构成相互独立的技术路线。

近年来，越来越多研究通过组合不同方法的优势，提高模型的预测效率、控制能力与泛化性能。

例如：

TransDreamer、STORM：将 RSSM 中的潜在状态建模与 Transformer 序列预测相结合。

TD-MPC、TD-MPC2：将隐空间动力学学习与价值导向规划相结合。

Dreamer 4：结合隐空间强化学习、Transformer 和生成式训练目标，实现高效交互模拟与离线策略学习。

Diffusion Forcing：将扩散生成与自回归序列建模结合，改善连续视频预测。

Cosmos 系列：探索将视觉理解、生成式预测与动作建模整合进统一的基础模型。

这些研究说明，未来世界模型的发展不一定取决于某一单独架构胜出，而更可能是不同建模思想的持续融合。

5. 应用领域#

5.1 强化学习与控制#

World Model 诞生于此，样本效率是核心评价指标。在该场景下，模型质量采用简洁评判方式：在固定数据预算下，评价在模型内部训练得到的策略性能。目前不存在某一种方法占据绝对主导，最优方案取决于性能瓶颈来自视觉细节、离散随机性还是长时程记忆。

5.2 机器人学与 WAM#

机器人领域是从普通 world model 过渡到 WAM 最为活跃的领域，受制于残酷现实约束：真实机器人数据采集速度慢、成本高昂。world model 可以发挥全部三类作用：规划候选运动、生成合成训练数据、在想象空间训练策略。目前主要形成了三条技术路线：

5.2.1 视频规划：先想象未来，再执行动作#

这一路线的核心思想是：机器人首先想象任务完成的过程，再根据预测画面推导具体动作。

UniPi 是这一范式的早期代表。它利用视频生成模型预测任务执行过程，再通过逆动力学模型，将相邻画面之间的变化转换为机器人动作。后续研究从不同角度完善了这一框架：

Video Language Planning：结合视觉语言模型与树搜索，将短期视频预测拓展到长时程任务规划。

AVDC、SuSIE：分别利用光流信息和目标图像，降低对真实动作标注或完整视频生成的依赖。

VideoAgent、RoboDreamer：前者引入反馈机制修正错误规划，后者增强对未见过的物体与动作组合的泛化能力。

这类方法的优势是能够利用互联网视频中蕴含的大量物理交互知识。但其局限同样明显：生成的视频不一定符合物理规律，也不一定对应机器人能够实际执行的动作。因此，如何将视觉预测可靠地转换为控制指令，是这一路线的核心挑战。

5.2.2 统一建模：让世界预测与动作决策相互促进#

第二条路线不再将世界模型和策略模型视为两个独立模块，而是尝试在统一架构中同时学习环境演化规律与机器人控制策略。

代表性研究包括：

UniSim：构建可交互的神经仿真环境，使机器人能够在模拟世界中训练，并尝试将策略迁移至现实。

WorldVLA、Unified World Models：联合建模视频与动作，使同一模型兼具未来预测和动作生成能力。

GR-1、GR-2：通过大规模视频预训练获取环境知识，再利用机器人数据微调，实现视觉预测与动作输出。

V-JEPA 2-AC：不依赖显式视频生成，而是在潜在表示空间中预测和规划，展示了自监督世界模型用于机器人操作的潜力。

与此同时，研究者也在探索更适合控制任务的世界表示。PointWorld直接预测三维点的运动；WestWorld采用机器人状态与动作轨迹建模，以适应不同机械结构；TACO进一步引入触觉信息，处理接触密集型操作任务。

另一项关键进展是减少对昂贵动作标注的依赖。LAPA通过视频学习潜在动作表示，只需少量真实动作数据即可完成映射；DreamGen则利用世界模型生成合成轨迹，扩充策略训练数据。GE-Sim 2.0进一步将生成式世界模型用于闭环策略评估。

这些工作体现出一个重要趋势：世界模型正在从单纯预测未来的工具，发展为集环境理解、数据生成、动作决策和策略评估于一体的基础模型。

5.2.3 工业化探索：大规模视频预训练与真实机器人控制#

工业界正尝试验证：能否利用海量人类视频学习通用交互规律，再通过少量机器人数据适配具体硬件？

Dyna-2 采用联合视频与动作建模的架构，利用超过一百万小时的第一视角人类视频进行训练，并通过三维手部轨迹建立人类动作与机器人控制之间的联系。其技术报告指出，随着视频数据规模扩大，预测误差呈现近似幂律下降趋势，部分能力也能够迁移至机器人任务。这为跨越人类与机器人之间的形态差异提供了新的可能。

Rhoda 则重点解决实时控制与长时程记忆问题。它利用较长的视频历史区分外观相似但任务阶段不同的状态，再通过轻量级逆动力学模块将未来预测转换为机器人动作，并采用流水式推理降低控制延迟。

table-06-robotics-hd

5.3 自动驾驶模型#

自动驾驶是世界模型的重要应用领域。其核心任务是：根据当前道路环境和自车动作，预测交通场景的未来演化，并利用预测结果辅助驾驶决策。

世界模型可承担三类功能：场景仿真，重现危险或罕见交通事件；数据生成，合成多样化的驾驶场景以扩充训练数据；决策规划，预测不同驾驶动作的后果并选择更安全的方案。

目前，这一领域主要沿着以下四条技术路线发展：

5.3.1 生成式驾驶仿真：从场景重建到可控视频生成#

早期研究主要探索如何从驾驶视频中学习环境动态，并生成符合驾驶动作的未来画面。

MILE 是早期代表之一，它基于单目摄像头数据，同时学习鸟瞰图（BEV）潜在空间中的环境动态和驾驶策略，验证了利用离线视频训练驾驶世界模型的可行性。

随后，大规模视频生成模型逐渐成为主流。具有代表性的工作包括：

GAIA 系列：Wayve 提出的生成式驾驶世界模型。从 GAIA-1 的自回归视频生成，发展到 GAIA-2 的多摄像头可控生成，再到 GAIA-3 的大规模跨地域训练，以及 GAIA-4 对摄像头和雷达联合生成的探索，逐步提高场景真实感、可控性和传感器一致性。

DriveDreamer、DriveDreamer-2：引入高精地图、目标检测框和自然语言等条件，使模型能够按照指定的道路结构与交通事件生成视频。

GenAD、Vista：探索更通用的驾驶场景生成模型，强化对复杂环境和不同驾驶条件的泛化能力。

这条路线的发展重点，已经从“生成逼真的驾驶视频”转向“生成可控制、可编辑且符合真实交通规律的驾驶环境”。

5.3.2 决策规划：通过预测不同未来来选择动作#

世界模型的另一项重要价值，是让自动驾驶系统能够在执行动作之前，评估其潜在后果。

Drive-WM 体现了这一思路：系统针对不同候选驾驶动作生成未来场景，再根据预测结果进行评估和选择。其核心逻辑可以概括为：

预测多种可能的未来 → 评估风险与收益 → 选择最优驾驶动作。

ADriver-I 则将多模态大语言模型与视频生成模型结合，在统一框架内进行未来画面预测和驾驶控制。

近年来，这一思路进一步发展为世界模型与驾驶策略的联合训练。例如，OmniDreams 将动作条件下的多摄像头视频生成与驾驶策略相结合，探索在闭环环境中同时学习场景演化和驾驶决策。

值得注意的是，反事实推演（Counterfactual Prediction）正在成为重要研究方向。以 GAIA-3 的 World on Rails 机制为例，系统能够基于真实驾驶记录修改自车轨迹，并重新生成对应场景。这为分析不同驾驶动作提供了可控环境，但由于其他交通参与者仍沿用记录中的行为，它尚不能完整模拟其他车辆对自车动作的反应。

因此，真正具备交互能力的驾驶世界模型，不仅需要预测自车运动，还需要理解其他交通参与者如何响应自车行为。

5.3.3 三维与四维世界建模：超越像素级视频预测#

生成视频并不是驾驶世界模型的唯一选择。对于自动驾驶而言，物体的三维位置、运动轨迹和空间占用情况，往往比画面外观更直接地关系到驾驶安全。

因此，部分研究开始在结构化三维空间中预测环境演化：

OccWorld：在三维语义占用空间中预测未来，联合建模道路环境的空间占用和自车运动。

Copilot4D：采用自监督方法学习激光雷达点云的时空变化，探索基于几何信息的世界预测。

WoVoGen：通过显式四维空间表示统一建模场景的空间结构与时间变化，增强不同摄像头视角之间的一致性。

DriveWorld：将四维环境动态学习作为自监督预训练任务，使世界模型学习到的表示能够服务于目标检测、地图构建、跟踪和规划等下游任务。

这些方法体现了一个重要趋势：驾驶世界模型正在从外观预测转向对三维几何、物体运动和场景动态的联合理解。

视频生成模型擅长利用海量视觉数据，生成直观、逼真的驾驶场景；结构化三维模型则更容易表达空间约束、几何关系和运动状态。两者并非互斥，而是可以相互补充。

5.3.4 闭环仿真：从生成模型走向安全验证平台#

自动驾驶世界模型的进一步发展方向，是构建能够与驾驶策略实时交互的神经仿真器（Neural Simulator）。

传统驾驶数据记录的是已经发生的交通过程，而闭环仿真要求环境能够根据自车动作持续变化，使驾驶系统能够在虚拟环境中反复测试不同决策。

Waymo World Model 探索将通用预训练世界模型中的知识迁移到驾驶场景，并适配摄像头、激光雷达等传感器输出。其重要价值在于生成真实车队难以采集的长尾场景，例如极端天气和罕见道路障碍。

另一条路线是神经数字孪生（Neural Digital Twin）。Waabi 的 UniSim 和 Tesla 展示的神经仿真技术，均体现了利用真实驾驶数据构建可交互虚拟环境的思路。这类系统有望支持驾驶策略的闭环测试、危险场景复现和持续优化。

不过，生成场景的真实性并不等同于仿真结果的可靠性。一个世界模型即使能够生成逼真的道路画面，也可能无法准确预测车辆之间的交互、碰撞风险或极端情况下的动力学行为。因此，闭环仿真的关键不仅是视觉质量，还包括物理一致性、交互真实性以及对真实驾驶性能的预测能力。 table-07-driving-hd

5.4 游戏、交互环境与人类动作模型#

游戏是生成式世界模型最直观的应用场景之一。与传统游戏引擎依靠人工编写规则不同，神经世界模型尝试从游戏数据中学习环境动态，根据历史画面与玩家动作直接预测未来画面。这一领域主要围绕实时交互、长时程一致性，以及人类动作建模三个方向发展。

5.4.1 神经游戏引擎：从视频生成到可交互世界#

DeepMind 的 Genie 系列是这一方向的代表。Genie 从无动作标注的游戏视频中学习潜在动作，使用户能够与生成场景交互；Genie 2 进一步支持从单张图像生成可探索的三维世界；Genie 3 则实现实时交互与分钟级场景一致性，使生成模型更加接近真正的游戏引擎。

与此同时，GameNGen、DIAMOND 和 Oasis 分别在《DOOM》、Atari 游戏及《Minecraft》等环境中展示了可交互的神经游戏引擎，证明神经网络可以在一定程度上替代传统游戏逻辑，直接模拟游戏环境的动态变化。

5.4.2 长时程记忆与语义控制#

要让生成世界真正具备实用价值，还需要解决实时性、长期一致性与复杂交互问题。

Matrix-Game 3.0、RELIC 等研究通过提高生成效率、引入空间记忆机制，延长可持续交互的时间，减少场景突变和物体状态不一致等问题。

Hunyuan-GameCraft-2 则将控制方式从键盘鼠标扩展到自然语言指令，例如“打开房门”或“触发爆炸”，要求模型理解语义动作及其对环境的影响。这标志着交互控制从简单的移动操作，逐渐发展为对虚拟世界的语义级操控。

产品化方面，Google 的 Project Genie 进一步将世界生成技术转化为可供用户体验的交互式原型。

5.4.3 世界与人类动作的联合建模#

微软提出的 Muse（WHAM，World and Human Action Model）是人类动作建模的代表性工作。它基于《Bleeding Edge》的大规模游戏画面与控制器操作数据训练，同时学习环境动态与玩家行为。

与传统游戏世界模型不同，Muse 不仅能够根据玩家动作预测未来画面，还能根据环境状态生成合理的人类动作。这种世界预测与动作预测的双向建模，使其成为典型的世界—动作模型。后续工作 WHAMM 则进一步探索实时交互与可游玩的神经游戏环境。

5.4.4 从生成虚拟世界到训练智能体#

游戏世界模型更具潜力的应用，是为人工智能体提供可以自主探索和学习的虚拟环境。

DeepMind 的 SIMA 2 展示了这一方向。它基于 Gemini 构建具身智能体，先通过人类演示学习，再利用自主探索提升任务执行能力。更重要的是，研究者探索了让 SIMA 2 在 Genie 3 生成的世界中自主执行任务、估计奖励并积累经验，实现初步的自我提升。

虽然相关实验仍主要局限于导航任务，但它展示了一条重要技术路线：

世界模型生成环境 → 智能体自主探索 → 积累交互经验 → 优化行动策略

这意味着世界模型的价值不再局限于生成内容，而是有望成为智能体训练的基础设施。

总体来说，游戏世界模型正在经历从可交互视频生成，到具备长期记忆的虚拟世界，再到支持智能体自主学习的环境这一演进过程。未来的关键挑战，是如何保证长时间交互中的状态一致性与物理合理性，以及如何将智能体在虚拟世界中习得的能力迁移到真实任务。这也是游戏世界模型与机器人、具身智能研究逐渐走向融合的重要方向。

table-08-games-hd

5.5 通用仿真与空间智能#

世界模型的另一重要发展方向，是从面向特定任务的预测模型，逐渐演变为可供不同智能体共享的通用仿真基础设施。

Sora、Cosmos、Veo 等视频基础模型尝试学习广泛的视觉与物理动态，为机器人、自动驾驶等物理 AI 任务提供通用的环境预测能力。Genie 3、Runway GWM-1 则进一步强调实时交互，使生成环境有望成为智能体训练与评估的虚拟平台。

与此同时，空间智能（Spatial Intelligence）正在成为另一条重要路线。李飞飞创立的 World Labs 强调，世界模型不应局限于连续生成视频帧，而应构建具有持久性、空间一致性和可探索性的三维世界。Pandora 则探索通过自然语言实时控制环境演化，使文本指令成为与生成世界交互的通用接口。

从功能角度，李飞飞进一步将世界模型划分为三个层次：

渲染器（Renderers）：生成未来的视觉观测，侧重画面真实性。

仿真器（Simulators）：预测符合物理规律的环境状态，侧重动态一致性。

规划器（Planners）：基于环境预测生成行动策略，侧重决策能力。

这一分类揭示了世界模型从视觉生成 → 物理仿真 → 行动决策的能力演进方向，也与世界—动作模型的发展趋势相呼应。

其长期愿景是构建统一的世界基础模型（World Foundation Model），使不同智能体能够通过查询和交互，共享模型习得的空间结构、物理规律与环境动态知识。不过，当前生成模型的视觉逼真度尚不能等同于物理准确性，距离可靠的通用仿真仍存在明显差距。

5.6 语言、代码与智能体世界模型#

前面讨论的世界模型主要面向视觉环境，但世界模型的本质是预测环境如何响应动作，而非生成图像。对于程序、网页、终端和文本游戏等环境，状态往往可以用代码或自然语言描述，因此大语言模型（LLM）也能够承担世界模型的角色。

5.6.1 代码驱动的符号世界模型#

WorldCoder 是这一方向的代表。它通过与环境交互，自动编写 Python 程序来描述环境的变化规律，再利用程序模拟未来状态并进行规划。相比神经网络的隐式表示，代码具有可执行、可检查和易于修改的优势，也能够通过修改规则适应相关新任务。

Meta 的 CWM（Code World Model）进一步将这一思路扩展到大语言模型。它不仅学习静态代码，还利用真实程序执行轨迹进行训练，使模型能够预测代码执行或终端命令对环境产生的影响。

这类方法的核心思想是：将环境动态表示为可执行的程序，利用符号推演代替视觉层面的未来预测。

5.6.2 面向智能体的语言世界模型#

随着 AI 智能体逐渐进入网页、操作系统和软件开发环境，研究者开始探索利用语言模型模拟这些环境的交互过程。

WMA 尝试预测网页智能体执行点击等操作后，页面状态将如何变化，从而辅助行动规划。

Qwen-AgentWorld 则将模拟范围扩展到工具调用、搜索、终端、软件工程、Android、网页及操作系统等七类环境。它通过学习大规模真实交互轨迹，预测智能体执行动作后环境可能返回的结果。

与生成图像或潜在状态的世界模型不同，这类方法直接利用自然语言描述未来环境状态，具备较强的组合能力和跨任务适应性。其重要价值在于让智能体能够提前模拟操作后果。例如，在删除文件、提交表单等可能产生不可逆影响的操作之前，先在内部模型中推演结果，再决定是否执行。

5.6.3 符号建模的优势与挑战#

语言与代码世界模型为现有研究提供了两种新的预测形式：

可执行程序：通过代码显式描述环境规律，具备可验证性和可修改性。

自然语言状态：利用语言描述未来变化，适合复杂的工具交互与任务规划。

但符号模型同样存在预测错误的问题。视觉世界模型可能生成不符合物理规律的画面，而代码世界模型可能构建逻辑自洽、却与真实环境不符的程序；语言模型也可能错误预测工具或网页的反馈。

因此，模型内部推演与真实环境之间的一致性仍然是核心挑战。符号方法的一项优势是，部分预测可以通过实际执行程序或调用工具进行验证。

未来值得关注的方向，是将符号推理与生成式世界模型结合：由语言模型负责理解任务、推演逻辑和规划动作，由视觉生成模型负责模拟空间结构与感知细节，从而构建同时具备符号推理和物理理解能力的通用世界模型。

6. From Prediction to Action：WAM#

7. Benchmarks & Evaluation#

7.1 Sample-Efficiency benchmarks for RL & Control#

7.3 World‑Model‑Specific Evaluation#

8. Discussion & Conclusion#

8.1 State of the Art#

8.2 Summary and Key Findings#

8.3 World Models versus VLAs: The Rift in Physical AI#

8.4 Open Challenges and Research Directions#

9. Conclusion#

World Model把 Craik 1943 年提出的“智能建立在现实的内部模拟器之上”，转变为一套工程规范。不到十年时间，领域从在 learned dream 中训练智能体，发展到 internet‑scale simulators，从文本生成可交互世界，再到 WAM 同时想象并执行。在纷繁多样的表象之下的一条统一主线：World Model 应该预测什么？它是否还需要驱动执行的机构？六种实现路径对第一个问题给出不同答案；向 WAM 演进回答了第二个问题。遗留问题（physical consistency、long‑horizon coherence、faithful controllability、honest evaluation、safety）将决定哪一条路线会成功，以及World Model 是否会成为通用具身智能的底层基础设施。

摘要#