From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond

基本信息

标题: From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond
第一作者: Paul Dubois
研究团队: Independent Researcher
会议/期刊: arXiv Preprint, 2026
代码: 未明确提供
PDF 文件: [From Tokens to States](file:///C:/Users/admin/.openclaw/workspace/attachment/papers/20260626_from_tokens_to_states_llms_world_models.pdf)

From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond

作者: Paul Dubois
类型: Opinion Paper, Draft
时间: June 2026
arXiv/viXra: 6202.6062
页数: 10 pages
代码: 未明确提供

研究摘要

在人工智能领域长达数年的辩论中，一个核心的二元对立始终挥之不去：大型语言模型（LLMs）通过自回归方式预测下一个token，而世界模型（world models）则在潜在空间中模拟物理或抽象环境的动态演化。Yann LeCun在他2022年的立场论文中明确将"word models"与"world models"对立起来，主张通往通用智能的必由之路是抛弃基于token预测的架构，转而拥抱以JEPA（Joint Embedding Predictive Architecture）为代表的潜在空间预测框架。Paul Dubois的这篇观点论文以严谨的形式化论证，对这一二元对立发起了根本性的挑战。他的核心论点并非要为LLMs辩护，而是指出LeCun的框架在概念上是粗糙的——世界模型不是一个具体的架构名称，而是一个由状态空间、动作空间和转移函数参数化的形式化类别；LLMs只是这个类别中一个被高度约束的特例，而非世界模型的对立面。这一视角的转换具有深刻的认识论意义：它不再将LLMs与世界模型视为两条不可调和的道路，而是将它们重新理解为同一连续谱系上的不同站点。通往更强大世界模型的路径，不是一场断裂式的革命，而是一次渐进式的松弛——逐步解除施加在LLM上的五项约束，每一次松弛都对应着世界模型能力的扩展，但同时也以牺牲LLMs赖以大规模训练的两个实际优势为代价：互联网规模的自监督数据，以及与离散token预测深度共生的Transformer架构。

论文的理论洞察不仅停留在概念层面，更得到了来自机械可解释性（mechanistic interpretability）的有力经验支持。OthelloGPT——一个仅在国际象棋Othello游戏移动序列上训练的标准Transformer——在其隐藏激活中线性地编码了完整的棋盘状态，准确率超过99%。它从未被显式告知棋盘的结构、规则或状态表示，却仅凭token序列的统计规律，自发构建了一个内部世界模型。同样的现象在更大规模上反复出现：Llama-2在隐藏状态中编码了地理空间和日历时间的线性表示；Dong等人（2025）发现LLM的提示层隐藏状态编码了整个未来回复的全局属性，而非仅仅下一个token。这些证据揭示了一个关键事实：世界模型存在于LLM的激活之中，而非token之中；token只是接口，而隐藏状态才是真正的表征载体。如果LLMs确实在其内部构建了世界模型，那么"token预测无法产生结构化表征"这一论断就从根本上被削弱了——问题不在于LLMs是否能构建世界模型，而在于它们所构建的世界模型受限于怎样的约束。

论文进一步提出了从NTP（Next-Token Prediction）到JEPA的连续谱系，并将这一谱系上的五个关键节点进行了系统梳理：标准NTP、多token预测（MTP）、未来摘要预测（Future Summary）、下一潜在状态预测（Next-Latent），以及最终的JEPA。令人瞩目的是，当前的研究已经在这条谱系上密集分布了多个中间站：DeepSeek-V3采用的多token预测头、Mahajan等人（2026）的未来摘要训练、Teoh等人（2026）的NextLat架构，这些都证明了从token空间到潜在空间的过渡并非断崖，而是一条自然延伸的路径。这一连续谱观点的提出，对于当前AI研究的方法论取向具有指导意义：它暗示了从LLM向世界模型演进的最优策略可能不是冷启动一个全新的范式，而是以LLM为初始化，逐步沿谱系向右移动，每一步都以可预测的方式权衡数据可用性、架构匹配度和世界模型能力。

论文的最终贡献在于明确指向前沿的两个开放问题：数据问题（从自监督文本到带动作标注的环境数据的"断崖"）和架构问题（Transformer能否真正泛化到连续状态预测，抑或需要一个全新的基础原语）。作者指出，当前在JEPA方向上的进展实际上依赖于一种反复出现的"变通方案"：将连续的图像或视频重新离散化为patch，然后再用Transformer处理。这本质上是在连续世界的门口退回到了离散token的舒适区。真正的问题尚未解决：是否存在一个与Transformer之于离散序列同样优雅的统一抽象，能够天然地处理连续状态、动作条件化和多时间尺度的动态预测？这一问题的答案将决定下一代世界模型的形态。

理论框架

Dubois的分析建立在Ha与Schmidhuber（2018）提出的世界模型形式化基础之上，但将其推向了更为普适和抽象的高度。在这个形式体系中，一个世界模型被定义为一个四元组 $(S, A, T, ρ_{0})$ ，其中 $S$ 是状态空间， $A$ 是动作空间， $T : S \times A \to P (S)$ 是转移函数，而 $ρ_{0}$ 则是初始状态分布。规划的核心机制在于通过迭代查询 $T$ 来在"想象"中模拟轨迹 $(s_{0}, a_{0}, s_{1}, a_{1}, . . .)$ ，在真正执行动作之前评估不同行动序列的后果。这个形式化看似抽象，却具有惊人的包容性：它不预设状态空间的性质（离散或连续、显式或潜在、单模态或多模态），不限制动作空间的结构（可以是原子动作、宏观策略或物理力矩），也不要求转移函数的具体实现形式（可以是神经网络、物理模拟器或符号推理引擎）。正是这种极度的一般性，使得LLM能够被嵌入其中。

论文的核心理论贡献是提出了LLM向世界模型形式化的严格嵌入。令 $V$ 为词汇表（有限token集合），则LLM可以被精确地映射为：状态空间 $S = V^{*}$ （所有有限token序列的集合，即当前上下文），动作空间 $A = V$ （唯一的"动作"就是选择下一个token），转移函数 $T (s, a) = δ_{s \cdot a}$ （确定性追加，将token $a$ 追加到序列 $s$ 后得到 $s \cdot a$ ），而LLM本身则提供策略函数 $π_{θ} : V^{*} \to P (V)$ ，即在给定上下文下对下一个token的概率分布。这一嵌入在数学上是严格的，但揭示了一个深刻的概念特殊性：在标准世界模型中， $T$ 编码外部世界的动态，而 $π$ 是智能体的决策策略；然而在LLM的情形中，转移函数是平凡的（仅仅是字符串拼接），而所有的"内容"都浓缩在策略函数之中。LLM同时扮演了世界模拟器和智能体的角色——这种身份的混淆正是LLM作为世界模型特例的标志性特征。形式上，这一嵌入证明了世界模型对LLM的严格包含关系： $LLMs \subset World Models$ 。

在此基础上，论文提炼出LLM相对于一般世界模型的五项约束，每一项约束都对应着谱系上的一个放松点。第一项约束是状态表示的离散性：LLM的状态空间仅限于token序列，而一般世界模型可以拥有任意性质的连续、多模态或潜在状态空间。第二项约束是动作粒度：LLM的每一步"动作"仅仅是一个微观token，缺乏语义上的动作抽象；而世界模型可以处理具有语义意义的宏观动作，如"走到门前"或"抓取物体"。第三项约束是状态持久性：一般世界模型通过显式的存储变量维持状态，而LLM必须在每次前向传播时从完整的上下文历史重新推导状态，这在长序列上带来了显著的计算和记忆负担。第四项约束是训练监督信号：世界模型通常需要成对的 $(状态, 动作, 下一状态)$ 三元组作为监督，而LLM仅通过原始文本上的下一token预测就能训练，无需任何标注、传感器或仪器化环境。第五项约束是层架构：一般世界模型可以采用状态空间模型（SSM）、扩散网络、分层编码器等多种架构，而LLM几乎被Transformer所垄断——这一架构是与离散token预测任务共同演化而来的，其自注意力机制、位置编码和softmax输出头都是为了处理离散token序列而精心设计的。

值得注意的是，这五项约束中最后两项——数据约束和架构约束——是紧密耦合的，并且共同解释了为什么LLMs能够在过去数年中实现如此惊人的规模扩展。下一token预测任务不需要任何人工标注，仅需从互联网上抓取海量文本（约 $10^{13}$ 个token），而Transformer架构恰好是为这一任务量身打造的。这种"任务-架构"的共生关系并非偶然，而是共同进化的结果。正如论文所强调的，这些约束不是缺陷，而是边界条件；放松它们意味着向更强大的世界模型迈进，但每一次放松都需要付出相应的代价。这一观点将关于LLM与世界模型的争论从"替代vs.保留"的二元框架，转化为"如何权衡"的连续优化问题。

论文还从理论上探讨了连续谱系上的每一步过渡所对应的约束松弛。从NTP到MTP（多token预测），放松的是"每步一个token"的粒度约束；Gloeckle等人（2024）展示了通过 $k$ 个独立输出头同时预测接下来的 $k$ 个token，可以在MBPP代码生成任务上获得15%的性能提升。Zhong等人（2026）进一步提供了理论机制：MTP通过表示收缩性（representational contractivity）推动模型收敛到内部信念状态。这一步的代价为零——数据仍然是互联网文本，架构仍然是Transformer，仅需增加 $k - 1$ 个输出头。从MTP到未来摘要预测，放松的是预测目标与token空间的耦合：Mahajan等人（2026）训练辅助头来预测长期未来的压缩表示（如词袋或反向LM嵌入），在3B-8B规模上提升了数学和推理能力。从未来摘要到Next-Latent，预测目标完全离开了token空间：Teoh等人（2026）提出的NextLat训练Transformer预测自身的下一个潜在状态，将规划性能提升和推理速度提升（高达3.3倍）同时实现。关键的是，这一步仍然可以利用互联网文本，因为监督信号来自模型自身的隐藏状态而非外部标签。然而，架构匹配度开始减弱：预测连续潜在向量而非离散token，需要扩散式输出头或其他适配，Transformer的归纳偏置不再完美契合。最后从Next-Latent到JEPA，两项实际优势同时崩溃：训练需要来自仪器化环境的成对 $(观察, 动作, 下一观察)$ 序列，数据规模骤降至约 $10^{9}$ 样本；同时，"正确的架构是什么"也成为了一个悬而未决的问题。

技术架构

论文虽然没有提出全新的算法或架构实现，但其技术讨论的核心在于构建一个统一的概念框架，将当前分散的研究方向整合到一个连贯的体系之中。这个框架的技术价值不在于提供可立即部署的代码，而在于为研究者提供了一个导航图——一个能够指导实验设计、架构选择和数据策略的系统性视角。

从系统的整体视角来看，论文所描绘的架构空间是一个二维设计空间：一个维度是状态类型（从离散到连续），另一个维度是规划 horizon（从单步到多步）。在这个空间中，标准LLMs占据左下角：它们使用离散的token状态，并且在没有思维链（Chain of Thought, CoT）的情况下仅执行单步规划。CoT通过生成中间推理token，在保持状态类型不变的前提下将规划 horizon 向上延伸，使得LLM能够在token空间内进行多步"思维模拟"。MTP、未来摘要和Next-Latent则沿着对角线向右上方移动，每一步都同时放松一个约束并扩展模型能力。JEPA和V-JEPA 2位于右上角：它们使用连续潜在状态，并具备长程规划能力。这个二维空间的揭示是论文技术架构讨论中最具洞察力的部分之一——它表明，将JEPA视为LLM的"替代者"是一种范畴错误；JEPA实际上是同一设计空间中一个更通用的极端点，而中间区域已经被当前研究密集占据。

在数据流的层面，论文细致地追踪了从NTP到JEPA每一步中训练数据的性质和规模变化。在NTP、MTP和未来摘要阶段，数据流完全来自互联网文本，规模约为 $10^{12}$ 至 $10^{13}$ 个token。这些数据无需任何预处理或标注，仅需通过自监督的方式构建监督信号：对于NTP，监督信号是下一个token；对于MTP，是接下来的 $k$ 个token；对于未来摘要，是压缩后的长期未来表示。到了Next-Latent阶段，数据流仍然可以是互联网文本，但监督信号的来源发生了质变：它不再是文本中的token，而是模型在处理文本时自身产生的隐藏状态。这意味着模型在训练过程中同时扮演数据生产者和消费者——它从前一层隐藏状态生成下一层的目标表示，形成了一种自我监督的闭环。这种数据流的自指性在概念上是优雅的，但在工程上引入了挑战：如何稳定地训练一个以自身输出为目标的系统？Teoh等人（2026）的方案通过精心设计的目标表示和训练动态来解决这一问题。到了JEPA阶段，数据流彻底转向仪器化环境：机器人平台、驾驶模拟器、游戏引擎或带有推断动作的视频。这些数据的获取成本远高于抓取网页文本，数据规模骤降至约 $10^{9}$ 样本，并且需要精确的动作标注。这一数据流的转变是论文所强调的"数据断崖"的技术实质——它不是渐进的衰减，而是质的飞跃。

在组件交互的层面，论文特别关注了Transformer架构在不同谱系节点上的适应性问题。在标准LLM和MTP中，Transformer的组件——多头自注意力、前馈网络、层归一化、残差连接和softmax输出头——形成了一个高度协调的系统。自注意力机制通过计算token之间的注意力权重来捕捉长程依赖，位置编码将序列中的顺序信息注入模型，而softmax输出头将隐藏状态映射为词汇表上的概率分布。这一架构的每一个组件都与离散token预测的任务假设深度绑定。当预测目标从离散token变为连续潜在向量（如Next-Latent）时，softmax输出头不再适用，必须被替换为能够生成连续向量的输出机制——如扩散模型的去噪头、向量量化变分自编码器（VQ-VAE）的解码器，或简单的线性投影加上均方误差损失。然而，这种替换破坏了原有架构的协同性：自注意力机制仍然期望处理离散的、可区分的token位置，而连续潜在状态的空间结构可能需要不同的注意力机制来有效建模。论文指出，现有的JEPA变体（如I-JEPA和V-JEPA 2）实际上通过一种"迂回策略"来解决这一问题：它们将连续的图像或视频帧重新离散化为固定大小的patch，然后在这些离散的patch上运行标准的Transformer。这相当于在谱系上向回退了一步，用离散化的近似来规避连续状态处理的困难。

论文还讨论了多token预测（MTP）在工程实现上的具体机制。Gloeckle等人（2024）在Transformer的顶层添加了 $k$ 个独立的输出头，每个头负责预测相对于当前位置偏移 $i$ 的token（ $i = 1, 2, . . ., k$ ）。这些输出头共享底层的Transformer表示，但各自拥有独立的投影矩阵。训练时，损失函数是 $k$ 个交叉熵损失的平均。这种架构在实现上是轻量级的：它不需要修改Transformer的核心层，仅需增加输出层的宽度。Zhong等人（2026）的进一步研究表明，MTP不仅仅是工程上的技巧，它在理论上促进了表示的收缩性——即模型被迫学习一种更紧凑、更具预测性的内部状态表示，因为仅仅记忆上下文不足以同时预测多个未来token。这一机制的技术实现揭示了表示学习与预测目标之间的深刻联系：改变预测目标可以直接影响学习到的内部表示的质量。

实验评估

虽然这是一篇观点论文而非传统的实验论文，但Dubois的论证严重依赖于现有文献中的实验证据，并将其重新组织为一个连贯的实证叙事。这种论证策略在科学哲学上是合理的——它利用已有的实验结果来检验一个概念性假设，即"世界模型是否在LLM内部自发形成"。

从实验设计的角度来看，论文所引用的证据来自多个独立的研究线索，它们共同构成了一个多层次的验证体系。最核心的证据来自机械可解释性领域对OthelloGPT的研究。Li等人（2024）和Nanda等人（2023）的实验设计堪称精巧：他们训练了一个标准的Transformer模型，仅输入Othello游戏的移动序列（如"C4 D3 C3 ..."），没有任何关于棋盘结构、游戏规则或状态表示的显式信息。模型的训练目标仅仅是预测下一个合法的移动token。然后，他们通过线性探测（linear probing）的方法检查模型的隐藏激活：如果在某一层激活上训练一个线性分类器来预测当前的棋盘状态（即哪些格子被黑子、白子占据或为空），分类器的准确率如何？结果令人震惊：在模型的中间层，线性探测能够以超过99%的准确率恢复完整的棋盘状态。更进一步的因果干预实验表明，这些表示不仅仅是相关性的产物——通过人为修改隐藏状态中的特定方向，可以精确地改变模型对棋盘状态的"信念"，进而改变其后续的移动预测。这些实验在概念上是对"LLM内部是否存在世界模型"这一假说的严格检验：如果token预测本身不能产生结构化表征，那么模型就不应该能够编码完整的棋盘状态；然而，实验结果恰恰相反。

OthelloGPT的实验证据在Karvonen（2024）对国际象棋语言模型的研究中得到了跨领域的复现。在国际象棋这一更为复杂的领域，LLM同样被发现在隐藏状态中编码了棋子的位置、合法移动和潜在威胁。这些结果在不同领域的一致性表明，从token序列中涌现世界模型表示可能是一个普遍现象，而非特定于Othello的巧合。在更大规模的模型上，Gurnee和Tegmark（2024）对Llama-2的分析揭示了类似的模式：模型在隐藏状态中编码了地理空间的线性表示（可以通过线性探测恢复世界地图上的相对位置）和日历时间的线性表示（可以预测特定日期是星期几）。这些能力的涌现尤其引人注目，因为模型从未被显式训练来执行这些任务——它们只是下一token预测任务的"副产品"。Dong等人（2025）的实验则进一步将这一观察推进到了提示层级：他们发现，即使在没有生成思维链的情况下，LLM的提示层隐藏状态已经编码了对整个未来回复的粗略规划，而不仅仅是下一个token的预测。这意味着，当模型开始生成回复时，它已经"知道"了要说什么，而后续的token生成只是在执行这一预存的计划。

实验来源	模型	训练任务	发现	探测方法
Li et al. (2024); Nanda et al. (2023)	OthelloGPT	下一移动token预测	隐藏状态线性编码完整棋盘状态 (>99%准确率)	线性探测 + 因果干预
Karvonen (2024)	国际象棋LM	下一移动token预测	编码棋子位置、合法移动和威胁结构	线性探测
Gurnee & Tegmark (2024)	Llama-2	互联网文本NTP	编码地理空间和世界时间的线性表示	线性探测
Dong et al. (2025)	通用LLM	互联网文本NTP	提示层隐藏状态编码未来回复的全局规划	表示分析

谱系节点	代表性工作	数据规模	数据类型	架构适配度
NTP	GPT-4o, Claude, Llama	~10¹³	互联网文本	✓✓✓
MTP	DeepSeek-V3, Ling-V2	~10¹³	互联网文本	✓✓✓
Future Summary	Mahajan et al. (2026)	~10¹²	互联网文本	✓✓
Next-Latent	NextLat, LLM-JEPA	~10¹¹	自监督隐藏状态	✓✓?
JEPA	I-JEPA, V-JEPA2, Cosmos	~10⁹	仪器化环境	✓ question

上述表格总结了论文所引用的关键实验证据和谱系上各节点的数据-架构权衡。从实验评估的角度来看，这些证据共同指向一个结论：token预测作为训练目标，并不妨碍模型在内部构建丰富的世界模型表示；约束在于这些表示的利用方式——LLM只能通过与token接口的交互来间接访问这些表示，而无法像JEPA那样直接在潜在空间中进行规划和推理。

论文还间接评估了不同谱系节点在实际任务上的表现。Gloeckle等人（2024）的多token预测在MBPP代码生成基准上实现了15%的提升，Mahajan等人（2026）的未来摘要在数学推理上展示了3B-8B规模模型的显著改进，而Teoh等人（2026）的NextLat在规划任务上实现了3.3倍的推理速度提升。这些结果表明，沿谱系向右移动的每一步都能带来可测量的性能增益，但这些增益并非线性累积——而是随着约束的放松逐步解锁新的能力。值得注意的是，这些中间步骤的成功也反过来支持了连续谱观点的预测：如果LLM和世界模型真的是不可调和的对立面，那么在它们之间的中间地带应该是一片荒芜；然而，现实恰恰相反，中间区域正在被活跃的研究密集填充。

案例研究

OthelloGPT是论文中最具说服力的案例，它以最简洁的方式展示了"世界模型从token中涌现"的核心论点。让我们深入这个案例的技术细节。Othello（又称Reversi）是一种策略棋类游戏，棋盘为8×8的方格，双方轮流放置棋子，夹住对方棋子的直线会被翻转。在标准的游戏表示中，棋盘状态是一个64维的向量，每个维度表示对应格子的状态（黑、白或空）。然而，OthelloGPT从未见过这种表示。它的训练数据仅仅是移动序列，如"C4 D3 C3 F5 ..."，其中每个移动由一个字母-数字对表示棋盘位置。模型的训练目标是在给定历史移动序列的条件下，预测下一个合法的移动。

从形式化的角度，这正是一个严格的世界模型嵌入实例：状态 $s_{t}$ 是截至时间 $t$ 的所有移动序列，动作 $a_{t}$ 是下一个移动token，转移函数是确定性追加。模型在训练过程中从未接收到任何关于棋盘物理结构、规则或状态的监督信号。然而，当研究者通过线性探测检查模型的隐藏激活时，发现在中间层存在一个低维子空间，其中线性解码器可以以超过99%的准确率恢复当前的棋盘状态。这意味着，在模型的内部表示中，存在一个与外部世界状态（棋盘）几乎同构的映射。更有趣的是，当研究者通过因果干预修改这个表示子空间中的特定方向时，模型对后续移动的预测会发生系统性的、可预测的变化——就像改变了一个真正拥有棋盘世界模型的系统的信念一样。

这个案例的启示是多层次的。首先，它最直接地反驳了"token预测无法产生结构化表征"的观点：如果模型能够编码完整的棋盘状态，那么它显然已经构建了某种结构化表征。其次，它揭示了token与隐藏状态之间的功能分离：token是动作接口（ $A = V$ ），而隐藏状态是世界模型的栖息地。这与LeCun将LLM批评为"word models"而非"world models"的论断形成了直接对照——LeCun的批评针对的是接口层，而忽视了表征层。最后，OthelloGPT案例展示了世界模型表示的"线性可解码性"（linear decodability）——模型不是以某种复杂、非线性的方式隐式编码棋盘状态，而是以一种简单的线性方式暴露出来，这表明表示的结构可能是与任务本身直接相关的，而非深度神经网络不可解释的黑箱产物。

另一个值得讨论的案例是Chain of Thought（CoT）在谱系框架中的定位。在传统的理解中，CoT被视为一种提示工程技巧，通过在输入中要求模型"逐步思考"来改善推理性能。然而，在论文的连续谱框架中，CoT被重新理解为一个沿规划 horizon 维度移动的技术，而无需改变状态类型。当模型生成"Let me think step by step..."这样的推理token时，它实际上是在token状态空间内部进行多步规划：每一个推理token都是规划过程中的一个中间状态，而最终答案则是规划的终点。从世界模型的角度看，CoT相当于在LLM的受限状态空间内模拟了一条更长的轨迹——不是通过改变状态表示的性质，而是通过增加轨迹的长度。这与MTP形成有趣的对比：MTP通过扩展每步预测的token数量来增加时间粒度（每步 $k$ 个token），而CoT通过增加步数来扩展规划深度（ $n$ 步，每步1个token）。两者都是在不改变核心状态表示的前提下扩展LLM的规划能力，这进一步证实了论文的核心论点：LLM的能力边界可以通过在谱系上的不同维度移动来逐步扩展，而非必须抛弃整个范式。

综合价值与局限

这篇论文在理论上的首要贡献在于提供了一套精确的概念工具，将此前分散的争论重新框定在一个统一的形式化体系之中。在AI研究领域，关于LLM与世界模型的辩论长期受制于语言的不精确——"世界模型"一词被用来指代从物理模拟器到抽象认知模型的各种事物，而LLM的批评者往往将"token预测"与"缺乏世界理解"混为一谈。Dubois通过形式化的嵌入和五项约束的提炼，为这些讨论提供了清晰的术语和边界。这不仅有助于澄清现有的争论，也为未来的研究提供了可操作的框架：当研究者提出一个新的架构时，可以明确地问"它放松了哪一项约束？"和"它保留了哪些LLM的优势？"。这种概念清晰度在科学进步中往往被低估，但它是避免重复劳动和无效争论的基础。

从实践影响的角度看，这篇论文对研究方向的选择具有直接的指导意义。它暗示了从LLM到世界模型的演进不必是一场冒险的范式跳跃，而可以是一次渐进的能力扩展。对于拥有大量LLM训练基础设施和数据的机构来说，这意味着他们可以通过在现有模型上添加MTP头、未来摘要模块或Next-Latent预测层来逐步探索世界模型的能力，而不是从头开始构建JEPA系统。这种渐进路径的风险更低，且可以利用已有的数据和计算资源。特别是对于资源有限的研究者，这一观点降低了进入世界模型研究领域的门槛：你不需要机器人平台或驾驶模拟器，仅需从互联网文本和一个预训练LLM开始，就可以研究潜在状态预测的世界模型行为。

然而，作为一篇观点论文，其固有的局限性也不容忽视。最核心的局限在于，论文的主要论点——LLM是世界模型的严格特例——在形式化上是正确的，但在实践上可能掩盖了重要的能力差距。形式包含关系并不意味着实质等价：一个被极度约束的世界模型可能在理论上属于同一类别，但在实际应用中表现出根本不同的行为模式。例如，LLM的确定性追加转移函数意味着它无法直接模拟外部世界的不确定性或随机性；虽然可以通过在策略中引入随机采样来间接模拟不确定性，但这与拥有显式概率转移函数的世界模型在概念上是不同的。同样，LLM缺乏显式的动作条件化机制：在标准世界模型中，智能体可以查询"如果我执行动作 $a$ ，世界将如何变化？"；而在LLM中，要模拟不同的动作序列，必须通过提示工程来重构整个上下文，这在计算效率和概念清晰度上都远非理想。

论文的另一个局限在于对数据问题的讨论可能过于乐观。作者正确地指出，Next-Latent预测仍然可以利用互联网文本，因为监督信号来自模型自身的隐藏状态。然而，这种"自我监督"的有效性和稳定性仍然是一个开放问题。如果模型以自身有噪声或不准确的表示作为学习目标，训练动态可能会陷入退化状态或收敛到平凡的解。此外，虽然互联网文本的数量巨大，但其质量分布极不均匀，且对于物理世界动态的代表性存在严重偏差。一个仅在文本上训练的模型，即使能够预测自身的潜在状态，其内部世界模型可能仍然缺乏对物理直觉、空间关系和因果机制的扎实理解——这些恰恰是真正的世界模型所需要的核心能力。

最后，论文对架构问题的讨论虽然深刻，但给出的解决方案仍然模糊。作者推测可能需要一个类似2017年前NLP领域状态的时期——多种竞争方案并存，等待一个统一抽象的出现——但这本身并不构成一个具体的研究路线。对于迫切需要在世界模型领域取得突破的研究者来说，这种"等待灵光一现"的哲学姿态可能显得不够实用。尽管如此，将问题明确定义为"寻找连续状态预测的Transformer等价物"本身就是一个有价值的贡献，因为它将模糊的直觉转化为可研究的工程问题。

延伸阅读与思考

在理解这篇论文的学术脉络时，需要首先回到Ha与Schmidhuber（2018）的原始世界模型论文。他们在一个强化学习框架中提出了世界模型的概念：一个模型在想象的"梦境"中训练策略，然后将其迁移到真实环境中。这一工作奠定了世界模型与规划和强化学习的联系，但将其视为一个特定架构而非形式化类别。Dubois的论文通过将世界模型提升为抽象的形式化类别，大大扩展了其适用范围，使其能够包容LLM这种看似截然不同的系统。LeCun（2022）的JEPA论文是本文最直接的对话对象。LeCun将自回归LLM批评为"word models"，认为它们缺乏对物理世界的理解，无法支持真正的规划，并提出JEPA作为替代方案。Dubois并不否认JEPA的目标价值，但他通过严格的形式化论证，将JEPA重新定位为LLM的泛化而非对立。这一观点的调和性在当前的学术氛围中尤为珍贵——它避免了将两种范式置于不可调和的敌对状态，而是展示了它们之间的连续性和互补性。

在同一问题上，Li等人（2026）的论文"From Word to World: Can Large Language Models Be Implicit Text-Based World Models?"提供了与Dubois观点互补的实验证据。他们通过系统性的基准测试，证明了LLM在足够规模下确实可以充当基于文本的隐式世界模型。这一工作与Dubois的理论框架形成了"理论-实验"的呼应：Dubois提供了为什么LLM可以是世界模型的形式化理由，而Li等人提供了它们在实际任务中确实表现得像世界模型的经验证据。Zhong等人（2026）关于多token预测和表示收缩性的理论分析，则为NTP到MTP的过渡提供了严格的数学基础，填补了论文中这一步骤在理论深度上的细节。

展望未来，这篇论文所开启的最重要研究方向之一是"中间谱系区域"的系统性探索。论文已经识别了MTP、未来摘要和Next-Latent作为三个关键中间站，但在这之间以及这些节点之上，可能存在更多尚未被发现的有效架构。例如，将MTP与Next-Latent结合——同时预测多个未来潜在状态——可能产生一种兼具时间粒度扩展和状态空间抽象的新范式。另一个方向是研究如何将物理世界的先验知识（如物理定律、空间几何）更有效地注入到基于文本预训练的模型中，从而缩小纯文本世界模型与真实物理世界模型之间的鸿沟。此外，数据生成策略的创新也可能是突破"数据断崖"的关键：如果高质量的 $(观察, 动作, 下一观察)$ 数据可以通过合成或仿真方式大规模生成，那么JEPA端的数据瓶颈可能不再是一个根本性的障碍。

对于我个人而言，这篇论文最令人深思的方面是它揭示了一种普遍存在于科学史上的认知模式：将两个看似对立的范畴重新理解为同一连续谱系上的不同点。这种"连续化"的思维方式——在科学革命中曾经推动过从地心说到日心说、从牛顿力学到相对论的转变——在今天的人工智能领域同样具有解放性的力量。它提醒我们，当面对看似不可调和的技术路线之争时，首要的问题可能不是"哪一个是对的"，而是"它们是否属于同一个更大的框架"。Dubois的论文优雅地展示了，在AI的当前发展阶段，LLM和世界模型之间的鸿沟可能更多地是程度之差而非种类之别。如果这一观点得到更广泛的接受和进一步的证实，它可能会深刻影响下一代AI系统的研发路径——不是选择阵营，而是建造桥梁。我想进一步探索的问题是：这种连续谱的观点是否也适用于其他AI领域的二元对立——例如，监督学习与强化学习、符号推理与神经网络、生成模型与判别模型——在这些领域中，是否也存在类似的被忽视的连续中间地带？

Topics: