Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers

作者: Sajad Movahedi, Vera Milovanović, Shlomo Libo Feigin, Alexander Theus, Thomas Hofmann, Valentina Boeva, T. Konstantin Rusch, Antonio Orvieto
机构: ELLIS Institute Tübingen, Max Planck Institute for Intelligent Systems, ETH Zurich, Swiss Institute of Bioinformatics, Université Paris Cité, LiquidAI
发表: arXiv Preprint, 2025
代码: https://github.com/sajad-movahedi/FPRM

研究摘要

近年来，神经网络的推理能力被越来越多地框定为测试时计算扩展（test-time compute scaling）的问题：一个模型应当能够在它认为更困难的输入上投入更多的计算资源。然而，实现这一目标需要两个关键要素。第一是灵活性（flexibility），即模型能够针对每个输入可变地分配计算量；第二是适应性（adaptivity），即模型能够根据问题的难度决定何时停止计算。标准的链式思维（Chain-of-Thought, CoT）机制通过序列维度上的 verbalization 实现计算扩展，并借助专门的停止 token 进行 halting 决策。然而，这种涌现行为需要特殊的训练体制和手工设计的推理轨迹，使得方法变得复杂且破坏了端到端训练的优良特性。循环架构（looped architectures）提供了一种替代方案，它通过深度维度上的循环来实现计算的灵活扩展，天然地为每个输入引入了可变的计算量。然而，循环架构面临两个核心挑战：其一，如何决定每个输入在测试时应当循环多少次——这一问题被现有的 Adaptive Computation Time（ACT）方法所处理，但 ACT 网络引入了额外的优化困难，因为它需要对离散目标进行连续松弛；其二，随着循环次数增加，有效层数（effective layers）变深，循环架构遭遇了与传统深层网络相同的信号传播问题（signal propagation problem）。

正是在这一背景下，本文提出了 Fixed-Point Reasoning Model（FPRM），一个基于 Transformer 的固定点推理模型。FPRM 的核心洞察在于双重的：首先，通过将循环 Transformer 中常用的 post-norm 替换为 pre-norm，并引入 residual scaling 参数来保持激活的 boundedness，作者成功解决了深层循环架构中的信号传播问题。这一修改使得模型能够在更深的有效层数上稳定训练。其次，FPRM 将固定点收敛（fixed-point convergence）作为端到端的 halting 机制——当模型的隐藏状态在连续迭代之间的变化低于某个阈值时，迭代自动停止。这一机制无需外部模块，完全内嵌于模型的动态过程之中，使得计算量能够自然地适应输入的难度。实验结果表明，FPRM 在 Sudoku-Extreme、Maze-Hard、ARC-AGI 和 state-tracking 等常见推理基准上表现出色，尤其在 7M 参数规模下优于 Hierarchical Reasoning Model（HRM）和 Tiny Reasoning Model（TRM）等层级基线模型。值得注意的是，FPRM 在不依赖 HRM 和 TRM 所采用的层级结构（hierarchy）的情况下取得了这些成果，这表明层级结构的优势可能部分来源于对信号传播问题的缓解而非其本身固有的推理能力。这一发现为循环推理模型领域提供了一个更为简洁的视角：或许我们不需要复杂的层级结构，而只需要更好地利用深度本身。

从更广阔的视角来看，FPRM 的提出代表了循环推理模型领域从"复杂工程"走向"简洁原理"的转变。它证明了通过基本的架构修改——切换 normalization 的位置并引入缩放参数——就能实现深度的有效利用；同时通过固定点收敛这一数学上自然的现象，就能实现计算的适应性分配。这不仅为推理模型的设计提供了新的思路，也为理解深度循环架构中的信号传播与优化动力学提供了深刻的洞察。

理论框架

FPRM 的理论根基建立在多个相互关联的数学与机器学习概念之上，这些概念共同构成了一个连贯的框架，使固定点迭代成为深层循环推理的自然机制。

深层循环架构中的信号传播困境

在理解 FPRM 的理论贡献之前，有必要回顾深层神经网络中的信号传播问题。随着网络深度的增加，梯度在反向传播过程中可能消失或爆炸，同时前向传播中的信号可能衰减或失真，导致深层网络难以有效训练。在传统 Transformer 中，pre-norm（层归一化置于子层输入之前）已被证明是缓解这一问题的标准方案，因为它保持了残差流（residual stream）的完整性，使得梯度能够更有效地传播。然而，在循环架构中，这一选择面临一个根本性的张力：pre-norm 虽然改善了信号传播，但却移除了控制激活幅度 boundedness 的机制，导致循环过程中的隐藏状态可能指数级增长。这正是循环 Transformer 中普遍采用 post-norm（层归一化置于残差连接之后）的原因——post-norm 通过将每一步的输出投影回单位球面来保持激活的 boundedness，但这种投影同时也扭曲了信号传播，导致深层循环模型难以有效利用其深度。论文中的 Figure 2a 清晰地展示了这一困境：使用 post-norm 的循环 Transformer 在增加有效层数时表达能力（以最大序列长度上达到 >90% 准确率的能力衡量）并未提升，而使用 pre-norm 的变体在较大深度时则因激活发散而崩溃。这一观察为后续的理论分析提供了实证动机。

固定点迭代的数学原理

FPRM 将循环推理建模为固定点迭代（fixed-point iteration）过程。给定输入 $x$ ，模型定义了一个映射 $f_{θ} (z; x)$ ，其中 $z$ 是隐藏状态。循环过程可以写为：

z_{i + 1} = f_{θ} (z_{i}; x)

这一迭代的固定点 $z^{*}$ 满足 $z^{*} = f_{θ} (z^{*}; x)$ 。如果映射 $f_{θ} (\cdot; x)$ 是压缩映射（contraction），即其 Lipschitz 常数小于 1，那么根据 Banach 固定点定理，迭代将收敛到唯一的固定点。这一视角将推理过程重新概念化为一个动力系统向均衡点的收敛，而非一个固定步数的序列变换。Deep Equilibrium Models（DEQ）正是基于这一思想，将有限层网络替换为权重绑定的变换的均衡点。然而，DEQ 模型通常通过拟牛顿方法（如 Broyden 方法或 Anderson 加速）而非固定点迭代来找到均衡点，且优化难度较大。FPRM 的独特之处在于它保持了固定点迭代的原始形式，并通过架构修改确保其收敛性和稳定性。

有界性与收敛性的理论保证

FPRM 的核心理论贡献在于证明了通过 residual scaling 可以在保持 pre-norm 信号传播优势的同时恢复 boundedness。具体来说，作者在每个子层和跨迭代之间引入了两组缩放参数 $(α_{1}, β_{1})$ 和 $(α_{2}, β_{2})$ 。在单轮 $f_{θ} (z; x)$ 内部，残差流和子层输出被加权：

z_{ℓ} = α_{1} z_{ℓ - 1} + β_{1} f_{θ_{ℓ}} ({Norm}_{pre} (z_{ℓ - 1})), ℓ = 1, \dots, 2 L

在迭代之间，输入被重新注入：

z_{i + 1}^{0} = α_{2} z_{i}^{2 L} + β_{2} x

论文中的 Theorem 1（Boundedness of FPRM iterates）证明，当 $0 \leq α_{1}, α_{2} < 1$ ，且选择 $β_{1} = 1 - α_{1} α_{2}^{2 L}$ 和 $β_{2} = (1 - α_{2}) (1 - α_{1}^{2 L}) / (1 - α_{2} α_{1}^{2 L})$ 时，固定点迭代序列是有界的。如果迭代收敛，极限状态 $z_{\infty}^{0}$ 满足 $∥ z_{\infty}^{0} ∥ \leq ∥ x ∥ + α_{2} c_{f}$ ，其中 $c_{f}$ 是各层映射的 Lipschitz 常数上界。这意味着无论输入如何，隐藏状态的幅度都不会无限增长——boundedness 得到了理论保证。

进一步地，Theorem 2（Small $α_{2}$ implies convergence）给出了收敛的条件。如果 $λ_{f}$ 是 $L$ 层模型的 Lipschitz 常数，那么当 $α_{2} λ_{f} < 1$ 时，映射 $f_{θ} (\cdot; x)$ 是压缩映射，迭代将以线性速率收敛到唯一的固定点：

∥ f_{θ} (z_{i}; x) - z_{i} ∥ \leq (α_{2} λ_{f})^{i} ∥ f_{θ} (z_{0}; x) - z_{0} ∥

这一理论结果不仅为 FPRM 的 halting 机制提供了数学基础——因为残差 $∥ f_{θ} (z_{i}; x) - z_{i} ∥$ 的指数衰减意味着可以将其作为 halting 信号——也为初始化策略提供了指导：较小的 $α_{2}$ 初始值有助于模型在训练初期就具备压缩性，从而更容易达到固定点。有趣的是，实验观察发现训练后 $α_{2}$ 的分布倾向于变得更小，表明模型在训练过程中学会了增强其压缩特性，这与 Bansal 等人（2022）的观察一致，也暗示了 rank-collapse 与信号传播问题之间的深层联系。

抑制振荡的阻尼机制

然而，压缩映射的充分条件并不总是能在实践中满足。论文指出，即使理论上有收敛保证，某些输入可能导致模型进入振荡行为——隐藏状态在固定点附近盘旋而不收敛。这一现象可以通过 Jacobian 矩阵的特征值来理解：当 Jacobian 有实部接近 $- 1$ 但模大于等于 $1$ 的特征值时，迭代会围绕固定点螺旋。Theorem 3（Damping stabilizes oscillatory fixed-point dynamics）提供了解决方案：定义阻尼迭代 $g_{η, θ} (z; x) := η f_{θ} (z; x) + (1 - η) z$ ，在适当的 $η \in (0, 1)$ 下，如果 Jacobian 所有特征值的实部都小于 $1$ ，则阻尼迭代能够局部收敛到固定点，且固定点保持不变。这一理论结果启发了 FPRM 的 practical halting 算法 FPOPT：通过一个 patience-based 的衰减机制，当残差不再改善时逐步减小阻尼系数 $η$ ，从而抑制振荡并促进收敛。这一机制将理论洞察转化为可运行的算法，使得固定点 halting 在复杂的多维空间中也能可靠工作。

截断反向传播的效率

固定点模型的另一个理论优势在于训练效率。Proposition 1（Exponential decay of truncated-BPTT error）证明，当 Jacobian 在谱范数下是压缩的（ $∥ J ∥_{2} = σ < 1$ ），截断反向传播（truncated BPTT）的误差随截断深度 $k$ 指数衰减：

{‖ (I - J)^{- 1} - \sum_{j = 0}^{k - 1} J^{j} ‖}_{F} \leq \frac{\sqrt{D} σ^{k}}{1 - σ}

这意味着 FPRM 可以在固定内存占用下训练，有效解耦了循环次数与内存复杂度——这在深层循环模型中是一个关键的工程考量。

技术架构

FPRM 的技术架构是一个精心设计的循环 Transformer 系统，其各个组件在理论指导下协同工作，实现稳定、自适应的深度推理。整个系统可以被理解为一个从输入到固定点的动态收敛过程，其中每个设计选择都有其特定的理论动机和工程目的。

系统概览与数据流

FPRM 的核心是一个循环 Transformer 层 $f_{θ} (z; x)$ ，它接收当前隐藏状态 $z$ 和输入 $x$ ，输出更新后的隐藏状态。在推理时，系统从初始状态 $z_{0}$ 开始（通常设为输入 $x$ 或某种嵌入），反复应用 $f_{θ}$ 。每次迭代中，FPOPT 算法（Algorithm 1）检查当前状态 $z$ 和候选更新 $\tilde{z} = f_{θ} (z; x)$ 之间的残差 $r = ∥ \tilde{z} - z ∥_{\infty} / (∥ \tilde{z} ∥_{\infty} + ϵ)$ 。如果残差低于阈值 $τ$ （通常设为 0.1），系统判定已达到固定点并停止；否则，FPOPT 可能应用阻尼更新 $z \leftarrow η \tilde{z} + (1 - η) z$ ，然后继续下一轮。这一 halting 机制完全内嵌于模型动态之中，无需外部决策网络。从输入到输出的完整数据流可以描述为：输入 $x$ 首先被嵌入为初始状态 $z_{0}$ ，然后进入循环迭代。每次循环包括一个完整的 Transformer 前向传播（multi-head attention 和 feed-forward 子层，通过 pre-norm 和 residual scaling 连接），随后 FPOPT 检查收敛性。当收敛达到时，最终状态通过预测头 $h_{ϕ}$ 解码为输出。

架构组件：从 Post-Norm 到 Pre-Norm 的转换

传统循环 Transformer（如 Universal Transformer、TRM、HRM）普遍采用 post-norm 架构。在这种设计中，每个子层（attention 或 FFN）的输出经过归一化后加到残差流上： $z_{ℓ} = {Norm}_{post} (z_{ℓ - 1} + f_{θ_{ℓ}} (z_{ℓ - 1}))$ 。Post-norm 通过在每个子层后强制归一化来保持激活 bounded，这对于循环架构至关重要，因为无约束的循环可能导致状态爆炸。然而，正如 Figure 2 所展示的，这种 boundedness 是以牺牲信号传播为代价的——深层循环中的梯度难以有效传播，限制了模型对深度的利用。

FPRM 的关键创新在于将 post-norm 替换为 pre-norm，同时通过 residual scaling 恢复 boundedness。Pre-norm 的公式为 $z_{ℓ} = α_{1} z_{ℓ - 1} + β_{1} f_{θ_{ℓ}} ({Norm}_{pre} (z_{ℓ - 1}))$ ，其中残差流 $z_{ℓ - 1}$ 不被归一化直接修改，从而保留了信号的原始信息。为了补偿 pre-norm 带来的 unboundedness，引入的缩放参数 $α_{1}$ 和 $β_{1}$ 控制了残差流和子层输出的相对贡献。Theorem 1 证明了在适当的参数选择下，这一组合既保持了信号传播的完整性，又确保了激活不会发散。这一转换的技术意义在于：它使得深层循环 Transformer 能够像传统深层网络一样从深度中获益，同时保留了循环架构的 parameter efficiency。

迭代级输入混合与深度卷积

在循环迭代之间，FPRM 不仅传递上一个循环的最终状态，还重新注入原始输入 $x$ 。这种输入混合通过参数 $α_{2}$ 和 $β_{2}$ 控制： $z_{i + 1}^{0} = α_{2} z_{i}^{2 L} + β_{2} x$ 。这一设计有两个目的：首先，它确保输入信息在整个循环过程中不会衰减，类似于残差连接在深层网络中的作用；其次， $α_{2}$ 的大小直接控制了循环的压缩程度——较小的 $α_{2}$ 使迭代更"粘滞"，更容易收敛到固定点，但可能限制表达能力；较大的 $α_{2}$ 允许更动态的状态演化，但可能使收敛变慢。因此， $α_{2}$ 成为平衡收敛速度与表达能力的核心旋钮。此外，FPRM 在每个循环开始时对隐藏状态应用深度卷积（depth-wise convolution），这一设计借鉴了 URM（Gao et al., 2025）的洞察，为循环模型提供了一个局部、平移等变的操作原语，在 2D 任务（如 Sudoku 和 ARC）中使用 2D 卷积，在 1D 任务（如 state-tracking）中使用 1D 卷积。

深度监督训练与截断 BPTT

FPRM 的训练采用深度监督（deep supervision）机制，灵感来自 HRM 和 TRM。每 $T_{sup}$ 次迭代（在实践中 $T_{sup} = k$ ，即截断 BPTT 的窗口大小），模型的中间状态通过输出头解码，计算交叉熵损失，并通过截断 BPTT 反向传播最近 $k$ 次迭代的梯度。然后计算图被分离（detach），继续下一次循环直到达到固定点或最大迭代次数。这种训练策略有两个关键优势：首先，深度监督为模型提供了丰富的中间信号，帮助它在循环过程中逐步改进预测；其次，截断 BPTT 使得内存占用与循环总次数无关，仅取决于截断深度 $k$ ，这对于训练深层循环模型至关重要。在推理时， $k$ 被设为 1，即不做截断，允许模型自由迭代直到收敛。这种训练和推理的分离是一个重要的工程选择：训练时通过截断保证内存效率，推理时通过完整迭代实现自适应计算。

固定点优化器 FPOPT 的设计

FPOPT 算法是 FPRM 实现可靠固定点 halting 的关键。它通过一个 patience-based 衰减机制自适应地调整阻尼系数 $η$ 。具体来说，算法跟踪当前见过的最小残差 $r^{*}$ 。如果当前残差 $r$ 小于 $r^{*}$ ，说明迭代在进步，重置 patience 计数器；否则，计数器递减。当计数器降至零且当前残差仍大于阈值 $τ$ 时，将 $η$ 乘以衰减率 $γ \in (0, 1)$ 并重置计数器。这一机制使得阻尼系数仅在必要时才减小，避免了过早的过度阻尼，同时在迭代停滞时逐步增强阻尼以促进收敛。 $γ$ 和 patience $P$ 成为控制计算-准确率权衡的外部旋钮：较大的 $γ$ 意味着更保守的阻尼衰减，允许更多迭代，从而可能获得更高准确率但消耗更多计算；较小的 $P$ 使得阻尼更快响应停滞。Figure 8 的实验展示了这一权衡空间，为实践者提供了选择帕累托最优点的依据。

实验评估

FPRM 的实验设计围绕三个核心问题展开：模型能否在常见推理基准上达到有竞争力的性能？固定点 halting 是否真正实现了计算的自适应分配？架构修改（pre-norm + residual scaling）是否有效缓解了深度诱导的信号传播问题？实验通过多个互补的基准测试和消融研究，系统地回答了这些问题。

数据集与基准选择

论文选用了四个具有代表性的推理基准，覆盖了从组合推理到空间推理的多种认知能力。Sudoku-Extreme 包含极具挑战性的部分填充 9×9 数独谜题，训练集约 100 万样本，测试集约 42 万样本，评估指标为精确序列准确率。这一任务难度与空格数量直接相关，为测试适应性提供了天然的分级。Maze-Hard 是 30×30 的最短路径迷宫，包含 1000 个训练样本和 1000 个测试样本，同样要求精确序列准确率。ARC-AGI-1 和 ARC-AGI-2 是抽象推理语料库，包含 2-32 个二维网格的输入-输出演示对，要求模型从少量示例中学习底层变换规则并应用于新样本。评估指标为 Pass@2 精确序列准确率。State-tracking（A₅ 和 S₅）则是基于置换组合的算法基准，训练序列最长 32 步，测试序列最长 128 步，评估模型学习可组合更新规则的能力。这些数据集的选择体现了作者对推理能力多维度的关注：从经典的组合搜索（数独、迷宫）到抽象归纳（ARC）再到状态跟踪（A₅、S₅），涵盖了推理任务的主要类型。

谜题任务性能对比

Table 1 展示了 FPRM 与多个基线模型的对比结果。在 7M 参数规模下，FPRM 在 Sudoku-Extreme（94.2%）、Maze-Hard（87.0%）和 ARC-1（47.5%）上取得了最佳性能，ARC-2（6.2%）与 TRM 持平。值得注意的是，FPRM 在 Sudoku-Extreme 上甚至优于更大的模型（如 27M 参数的 Attractor Model 报告结果为 91.4%）。这一结果表明，FPRM 通过更有效地利用深度，以更少的参数实现了更强的推理能力。然而，ARC-2 的结果显示 FPRM 与 URM（14M 参数）和报告的 TRM 结果仍有差距，作者指出 ARC 基准对参数数量非常敏感，公平比较需要控制参数规模。Figure 6 进一步展示了 FPRM 和 TRM 在测试时扩展计算时的性能差异：随着有效层数增加，FPRM 始终优于 TRM，且差距在高计算预算下扩大，这与 FPRM 更好地利用深度的假设一致。然而，Table 3 中尝试将 FPRM 的架构修改直接应用到 TRM 的 Transformer 层时，发现性能有所下降，作者归因于超参数优化和循环设计的重新调整需求。这表明架构修改与训练方案之间存在微妙的耦合关系，简单的组件移植并不足以复现 FPRM 的全部优势。

Model	#Params	Hierarchy	Sudoku-Ext.	Maze-Hard	ARC-1	ARC-2
HRM	27M	✗	55.0%	74.5%	40.3%	5.0%
TRM (reported)	7M	✗	74.7%	85.3%	44.6%	7.8%
TRM (reproduced)	7M	✗	72.6%	79.0%	40.0%†	6.2%†
URM	14M	✗	77.6%	—	≥53.8%‡	≥16.0%‡
EqR	7M	✗	93.0%	—	—	—
Attractor Model	27M	✗	91.4%	93.1%	—	—
Attractor Model	7M	✗	54.3%	46.7%	—	—
FPRM (ours)	7M	✓	94.2%	87.0%	47.5%	6.2%

Table 1: Test accuracy on reasoning benchmarks. Bold = best overall; Underlined = best at 7M params. † = reproduced; ‡ = reported as Pass@1.

适应性验证：计算与难度的匹配

适应性是 FPRM 的核心主张之一，论文通过 state-tracking 和 Sudoku-Extreme 进行了详细验证。Figure 4 展示了 A₅ 和 S₅ 上的长度泛化与自适应计算行为。在 A₅ 上，不使用 ACT 的 TRM 在长度 128 时准确率仅为 45.8%±3.9%，启用 ACT 后无明显改善；添加 1D 卷积后显著提升到 91.4%±2.3%，但 ACT 仍不可靠，在 A₅ 上下降至 65.3%±2.2%。相比之下，FPRM 平滑地将计算量与序列长度对齐，在长度 128 时达到 98.1%±2.2%（A₅）和 98.8%±0.9%（S₅），且使用的计算量显著少于 TRM+conv+ACT。Figure 5 则展示了 Sudoku-Extreme 上按难度（空格数）分层的性能对比。FPRM 在准确率和计算效率上均优于 TRM：对于更难的问题（更多空格），FPRM 投入更多计算，而 TRM 无论是否启用 ACT 都表现出较差的适应性——默认行为（无 ACT）对所有难度使用最大计算量，启用 ACT 后要么停止过早导致准确率下降，要么停止过晚导致计算浪费。Figure 5b 中，FPRM 的有效层数中位数随难度平滑增长，而 TRM 的 ACT 表现出高方差和不稳定行为。这些结果强有力地证明了固定点 halting 相比学习式 ACT 的优越性：它无需外部模块、无需离散目标的连续松弛，且自然地将计算与问题难度关联。

深度诱导的信号传播缓解

Section 4.4 通过三个角度系统验证了架构修改的有效性。首先是 boundedness 与可训练性。Figure 2b 显示，在初始化时，pre-norm 循环 Transformer 的激活范数随有效层数指数增长，而 post-norm 或 pre-norm+residual scaling 保持 bounded。Figure 2a 进一步证明，boundedness 是达到深层有效层的前提：无 residual scaling 的 pre-norm 模型在深层发散，无法训练。其次是深度利用率的提升。在 state-tracking 上，FPRM（pre-norm+residual scaling）在训练时将有效层数与序列长度匹配，测试时遵循身份线 $y = x$ ——即模型恰好在深度允许的范围内解决对应长度的问题。这证明模型能够有效利用其深度。在 Sudoku 上，Figure 7a 显示 pre-norm+residual scaling 的 FPRM 在测试时扩展计算时性能饱和点远高于 post-norm 变体，表明前者能够更好地利用额外深度。Figure 7b 显示两种变体的固定点残差相似，但 pre-norm 变体在相同收敛度下实现更高的准确率，说明其每次迭代产生的更新更具意义。最后是 residual scaling 参数的训练动态。Table 2 的消融显示，较高的 $α_{1}$ 初始值和较低的 $α_{2}$ 初始值效果最好。Figure 9 展示了训练后参数分布： $α_{1}$ 的分布大幅扩展，涵盖很小和很大的值； $α_{2}$ 的分布则更集中，且多数值变得更小，表明模型学会了增强其压缩性。这一观察与 Theorem 2 的收敛分析一致，也暗示模型可能在训练过程中自动向有利于固定点收敛的区域移动。

$α_{2}^{init}$	0.25	0.50	0.75
0.25	83.44%	78.10%	83.24%
0.50	84.49%	89.05%	86.29%
0.75	94.23%	91.41%	85.70%

Table 2: Sensitivity of FPRM to residual scaling initialization on Sudoku-Extreme. Best result (94.23%) achieved with high $α_{1}^{init}$ (0.75) and low $α_{2}^{init}$ (0.25).

计算-准确率权衡的控制

Figure 8 展示了 FPOPT 的衰减率 $γ$ 和最大 patience $P$ 对测试时计算和性能的影响。较大的 $γ$ （如 0.997）允许更多迭代，达到更高准确率，但消耗更多计算。有趣的是， $P$ 对性能的影响在 $γ$ 较大时几乎消失，因为此时每次衰减的步长减小本身已足够温和。这一分析为实践者提供了直接控制推理成本与质量的机制：通过调整 $γ$ ，可以在帕累托前沿上选择所需的平衡点。这一特性是固定点 halting 相对于 ACT 的另一优势——ACT 的 halting 阈值通常难以解释和调节，而 $γ$ 有明确的数学含义（阻尼衰减率）。

案例研究

为了更具体地理解 FPRM 的行为，本节深入分析两个具有代表性的案例：Sudoku-Extreme 上的难度自适应推理和 state-tracking 上的长度泛化行为。

Sudoku-Extreme：难度分层与计算分配

Sudoku-Extreme 为理解 FPRM 的自适应性提供了一个理想的案例场景。在这个任务中，难度由空格数量直接量化——空格越多，需要填充的数字越多，逻辑推理链越长。Figure 5 展示了 FPRM 和 TRM 在不同难度层级上的表现。对于相对简单的谜题（约 45 个空格），FPRM 和 TRM 都能达到较高准确率，但 FPRM 使用的有效层数更少。随着难度增加到 60 个空格，FPRM 的准确率保持在较高水平，而 TRM 的准确率下降。更重要的是，Figure 5b 展示了计算分配模式：FPRM 的有效层数中位数随空格数平滑增长，从约 $10^{1}$ 层增加到 $10^{3}$ 层，而 TRM 的默认行为（无 ACT）对所有难度都使用最大计算量（约 $10^{3}$ 层），造成大量浪费。TRM 启用 ACT 后，虽然部分样本减少了计算，但 halting 时机极不稳定，25th-75th 百分位带非常宽，表明 ACT 在不同样本上的决策高度不一致。这一案例清晰地展示了固定点 halting 的本质优势：模型不是通过外部学习来"猜测"何时停止，而是通过数学上明确的收敛条件来判断。简单问题收敛快，困难问题收敛慢，这种自然的对应关系使得计算分配无需任何显式监督。Figure 6 进一步展示了 FPRM 在测试时扩展计算时的行为：随着最大计算预算增加，FPRM 的准确率持续提升，而残差（标记大小）逐渐减小。这表明额外的计算确实被用于更接近固定点的状态，而非无意义的迭代。

State-Tracking：长度泛化与深度利用

State-tracking 任务（特别是 A₅ 和 S₅）为理解 FPRM 的深度利用能力提供了另一个视角。在这个任务中，模型需要学习置换组合规则，并按顺序应用于初始状态。序列长度直接对应所需的推理步骤数，因此长度泛化是测试模型是否真正学会了组合规则而非记忆化训练序列的关键。Figure 4 展示了 FPRM 和 TRM 在长度 2 到 128 上的对比。在训练长度 32（垂直虚线）以内，所有模型都表现良好。但在测试长度（64 到 128）上，差异显著。TRM 无 ACT 在长度 128 时崩溃（45.8%），添加 ACT 后仍无改善。TRM+1D conv 通过局部先验显著改善了长度泛化（91.4%），但 ACT 在此设置下反而有害，将 A₅ 准确率降至 65.3%。FPRM 则展现了近乎完美的长度泛化：在 A₅ 和 S₅ 上分别达到 98.1% 和 98.8%，且计算量随长度平滑增长。Figure 4b 和 4d 显示 FPRM 的有效层数与序列长度成正比，这是理想自适应行为的标志。相比之下，TRM+conv+ACT 的计算量增长不单调且方差很大，部分种子甚至耗尽全部计算预算。这一案例揭示了 FPRM 的深层机制：通过改善信号传播，模型能够更可靠地应用已学到的组合规则到更长的序列上，而不需要为每个新长度重新训练。固定点 halting 则确保模型在应用足够多规则步数后自动停止——对于长序列，需要更多步数才能收敛，因此自然投入更多计算。

综合价值与局限

理论贡献与概念工具

FPRM 的理论贡献超越了其直接的实验结果。首先，它提供了一个清晰的理论框架来理解循环 Transformer 中的信号传播与 boundedness 之间的 trade-off，并通过 residual scaling 给出了解决方案。Theorem 1 和 2 不仅证明了 boundedness 和收敛性，更重要的是它们将架构选择（pre-norm vs. post-norm, scaling 参数）与数学性质直接关联，为未来的循环架构设计提供了原则性指导。其次，FPRM 将固定点迭代作为 halting 机制的理论基础建立起来，证明了在适当条件下，循环推理可以自然地收敛到固定点，而收敛本身就是停止的信号。这一视角将推理过程重新概念化为动力系统的均衡收敛，为理解循环模型的内部机制提供了新的概念工具。最后，论文通过分析 residual scaling 参数的训练动态，揭示了循环模型可能自发地向更压缩的映射演化，这一观察将 rank-collapse、信号传播和固定点收敛三个看似独立的现象联系起来，提出了更深层次的研究问题。

实践影响与潜在应用

在实践层面，FPRM 为推理模型的设计提供了一个更简洁的范式。它证明了无需复杂的层级结构（如 HRM 和 TRM 的 fast/slow loop 层级），仅凭基本的架构修改和固定点 halting 就能实现有竞争力的推理性能。这降低了推理模型的实现门槛，使得在资源受限环境中部署高效推理模型成为可能。FPRM 的 7M 参数规模在 Sudoku 上达到 94.2% 准确率，在 Maze-Hard 上达到 87.0%，展示了小模型在特定推理任务上的巨大潜力。然而，从研究到实际应用的转化仍面临挑战：FPRM 目前仅在算法任务上验证，其在自然语言推理、多模态推理等更复杂领域的适用性尚待探索。此外，固定点 halting 虽然优雅，但在批量推理中可能面临效率问题——因为 batch 中不同样本的收敛时间不同，需要等待最后一个样本收敛，造成计算资源的闲置。论文提到高效的 batch 实现是未来的工作。

优势与强项

FPRM 的论文在多个方面表现出色。首先是理论深度与实践洞察的结合：三个定理（boundedness、convergence、damping）不仅数学上严谨，而且直接指导了架构设计和算法实现。其次是实验的全面性：从性能基准到适应性分析，从信号传播验证到参数训练动态，实验覆盖了模型的多个维度。第三是诚实的自我批判：作者不仅展示了成功之处，也讨论了局限性（如 ARC-2 的相对落后、Table 3 中架构移植的失败），并提供了合理的解释。第四是对相关工作的深入讨论：论文将 FPRM 置于 DEQ、ACT、扩散模型、能量模型等多个相关框架的语境中，清晰地定位了其贡献。最后，论文对层级结构作用的重新解释是富有洞察力的——它提出层级的成功可能源于对信号传播问题的缓解而非其生物学动机，这一假说为后续研究提供了有趣的方向。

局限性与开放挑战

尽管 FPRM 取得了令人印象深刻的成果，但仍存在值得关注的局限。首先，实验范围局限于算法任务，未涉及自然语言推理。推理模型在算法任务上的组合行为能否迁移到更开放、更模糊的领域，仍是一个根本性的开放问题。其次，固定点 halting 的收敛速度可能无法达到最优算法的复杂度。论文指出，对于 A₅ 任务，最优算法可以在对数时间内解决，而 FPRM 的迭代次数与序列长度线性相关，这是次优的。这一局限可能源于循环架构本身——即使信号传播完美，循环 Transformer 的表达能力仍受限于其权重共享结构。第三，虽然 FPRM 不使用层级结构，但它保留了深度卷积等额外组件，这些组件的引入本身也是一种设计选择。彻底的无层级架构（纯粹的循环 Transformer）能否达到相同性能，仍有待验证。第四，论文提到将 FPRM 的架构修改移植到 TRM 时性能下降，这暗示 FPRM 的成功可能与特定的训练方案（如深度监督的间隔、截断 BPTT 的深度）紧密耦合，而非单纯的架构改进。最后，关于层级结构作用的假说虽然有趣，但尚未得到严格的理论证明，需要更多的实验和分析来验证或证伪。

延伸阅读与思考

关键先前工作

FPRM 建立在多个重要的研究脉络之上。在循环架构方面，Universal Transformers（Dehghani et al., 2019）首次将循环机制引入 Transformer，Neural GPUs（Kaiser & Sutskever, 2016）展示了循环网络学习算法的能力。近期工作如 Yang et al. (2024)、Fan et al. (2025) 和 Saunshi et al. (2025) 进一步证明了 Looped Transformers 在长度泛化和算法学习上的优势。在层级推理模型方面，HRM（Wang et al., 2025）和 TRM（Jolicoeur-Martineau, 2025）通过 fast/slow 层级结构在小型网络上实现了惊人的推理性能，成为 FPRM 的主要对比基线。DEQ 模型（Bai et al., 2019）为固定点视角提供了理论基础，尽管其通过拟牛顿方法而非迭代来求均衡点。ACT 方法（Graves, 2016）为自适应计算的早期尝试，但面临优化困难。FPRM 从这些工作中汲取了核心思想——循环的归纳偏置、固定点的数学框架、自适应计算的必要性——并通过架构创新解决了它们各自面临的瓶颈。

未来研究方向

FPRM 的提出为多个研究方向打开了大门。首先是层级结构的理论再审视：论文提出的假说——层级的成功源于对信号传播的缓解而非其固有的推理能力——值得深入验证。如果这一假说成立，那么层级结构可以被视为一种"昂贵"的 boundedness 机制，而 FPRM 的 residual scaling 提供了一种更经济高效的替代。其次是收敛速度的优化：当前 FPRM 的迭代复杂度与问题规模线性相关，而某些任务（如 state-tracking）的最优算法具有对数复杂度。如何设计循环架构使其学习到的隐式算法接近最优复杂度，是一个核心挑战。论文提出寻找一个能达到对数复杂度同时保持图灵完备性的循环架构作为开放问题。第三是将 FPRM 扩展到更广泛的领域：自然语言推理、视觉推理、多模态推理等。特别是，固定点 halting 在生成任务（如文本生成）中的适用性需要重新思考，因为生成任务的输出空间是离散的且序列长度不固定。第四是理论分析的深化：当前的理论结果（Theorem 1-3）主要关注局部性质，全局收敛性、收敛速度的上界、以及训练动态的完整刻画仍是开放问题。特别是，residual scaling 参数在训练过程中的演化是否总是趋向压缩性，是否存在训练不稳定或收敛到不良固定点的情况，需要更深入的理论理解。

个人反思

FPRM 最引人深思的方面在于它揭示了循环架构中一个被忽视的视角：循环 Transformer 本质上是非常深的 Transformer。这一看似平凡的观察却蕴含着深刻的工程意义——既然它们本质上非常深，那么为什么不用 pre-norm 来解决信号传播问题？答案当然在于 boundedness 的需求，但 FPRM 表明 boundedness 可以通过更轻量的方式（residual scaling）实现，而非依赖破坏信号传播的 post-norm。这一思路的转变——从"为循环定制架构"到"为深度优化架构"——具有启发性。它提示我们，许多针对特定架构的复杂工程可能实际上在解决一个更基础的问题，而如果能找到更简洁的解决方案，整个系统就会大大简化。此外，固定点作为 halting 机制的设计是优雅的：它不依赖于任何外部学习，而是利用了数学本身提供的信号。在日益复杂和工程化的 AI 领域，这种"回归自然"（letting the math speak for itself）的方法令人耳目一新。我最想进一步探索的问题是：如果将 FPRM 的信号传播修改应用到更广泛的模型族（如 Mamba、RWKV 等状态空间模型），是否也能获得类似的深度利用收益？这些模型在循环设置下可能具有不同的信号传播特性，值得深入研究。另一个有趣的问题是：固定点 halting 的收敛阈值 $τ$ 是否可以学习而非手动设定，从而在不同任务上自动调整敏感性？这将使 FPRM 的适应性机制更加完整。

Topics: