CARVE: Content-Aware Recurrent with Value Efficiency for Chunk-Parallel Linear Attention

基本信息

标题: CARVE: Content-Aware Recurrent with Value Efficiency for Chunk-Parallel Linear Attention
第一作者: Sayak Dutta
研究团队: (独立作者)
发表: arXiv:2606.27292, 2026
类别: cs.CL, cs.AI, cs.LG, cs.NE
页数: 28 pages
PDF 文件: [CARVE](file:///C:/Users/admin/.openclaw/workspace/attachment/papers/20260629_carve_content_aware_recurrent_value_efficiency.pdf)

研究摘要

序列建模领域长期面临一个根本性的权衡：模型应该记住多少上下文，以及为此付出怎样的硬件代价？Transformer 通过保留所有 token 的精确记录——以二次方的注意力矩阵——实现了强大的表达能力，但代价是训练和推理时的内存与计算开销随序列长度呈平方级增长。对于需要处理长文本的部署场景，这种开销不是工程上的不便，而是经济可行性的硬约束。与此同时，循环架构（recurrent architecture）提供了一个截然不同的交易：将过去所有上下文压缩到一个固定大小的状态矩阵 $S_{t} \in R^{d_{v} \times d_{k}}$ ，然后以 $O (d_{v} d_{k})$ 的操作成本逐 token 更新。推理时内存和计算成本与序列长度无关，这一特性直接转化为部署时的实际优势。但代价是压缩本身——当状态矩阵的容量有限时，写入新 token 必然覆盖旧条目，因此需要一种有原则的遗忘机制（principled forgetting mechanism）。

正是在这一背景下，Gated DeltaNet-2（GDN-2）应运而生，它将 delta-rule 递推中的标量遗忘门扩展为全尺寸的逐元素矩阵门，用 $d_{v} \times d_{k}$ 的 erase gate 和 write gate 来精细控制每个状态条目的保留与写入。然而，这一设计虽然提升了下游任务质量，却带来了三个结构性缺陷：两个门都仅从当前输入 token 计算，使模型在决定遗忘时完全无法观察已存储的内容（memory-blind gating）；write gate 的 $d_{v}$ 维投影携带的参数规模与 value 投影本身相当，带宽成本巨大却收益甚微；最关键的是，由于 erase 同时作用于 value 轴和 key 轴，原本支持高效训练的 WY-form 分块三角求解器（triangular chunk solver）被迫分解为 $d_{v}$ 个独立的求解过程，吞吐量直接退化为串行递归的水平。GDN-2 因此陷入一个三难困境：更丰富的门控、更低的带宽、和分块并行训练无法同时实现。

CARVE（Content-Aware Recurrent with Value Efficiency）的提出正是为了解决这一困境。其核心洞察是建筑性的：通过将所有的门控操作严格限制在 key 轴上，intra-chunk 的耦合矩阵将不再依赖于 value 的索引，从而恢复单一 WY-form 三角求解的合法性。在这一 key 轴约束之内，CARVE 引入了两项关键创新。第一项是内容感知的 erase 门，通过重用内核已经写入 HBM 的循环输出张量 $o_{c, \cdot} = S_{c, \cdot} q$ 的 chunk 均值 $m_{c}$ 作为内容信号，以零额外内存成本让 erase 门首次窥见已存储的内容。该信号经过一个零初始化的低秩投影 $U_{b}$ 后，为 erase 门注入记忆条件的选择性。在初始化时 $U_{b} = 0$ ，CARVE 与基线模型 bit-identical；随着训练进行，门控逐渐激活。作者证明，一 chunk 的 staleness 导致的门控扰动仅为 $O (1 / \sqrt{L})$ ，实测偏差在所有 chunk 长度下平坦地保持在 0.18%。第二项创新是标量 value write gate，将 $d_{v}$ 维的逐通道 write gate 替换为每个 head 的单一标量 $w_{h, t}$ ，实现了 $d_{v}$ 倍的参数缩减，同时作者证明这对单槽联想回忆（single-slot associative recall）是无损的。

在 1.3B 参数规模、100B token 的 FineWeb-Edu 数据集上，于 NVIDIA H100 硬件上的三种子平均实验表明，CARVE 同时在多个维度上超越了此前的最佳循环基线。WikiText 语言建模困惑度从 15.90 降至 15.72（ $4.5 σ$ 效应）；在九个常识推理基准上，平均零样本准确率领先所有循环模型 +0.63 个百分点；在 RULER 长上下文检索探测中，CARVE 在所有 S-NIAH 和 MK-NIAH 上下文长度上均创下新纪录，并在六项真实世界回忆任务中排名第一。尤为引人注目的是，这一切并未以硬件代价换取：吞吐量与矩阵门基线相差仅 0.4%（在测量噪声范围内），峰值内存降低 13%，mixer 参数减少 19%。CARVE 因此成为门控 delta 家族中首个同时实现内容感知门控、完整 WY-form 分块并行训练、以及参数缩减的架构，并且每一项设计都配有形式化理论保证。

理论框架

要理解 CARVE 的理论根基，需要回溯 delta-rule 递推家族的思想演化。线性注意力（Linear Attention）的早期突破在于用核函数替代 softmax，将注意力的二次成本降为线性，使序列建模转化为一个线性递归 $S_{t} = S_{t - 1} + v_{t} k_{t}^{⊤}$ ，输出为 $y_{t} = S_{t} q_{t}$ 。然而，这种简单的累加机制无法实现对已有记忆的精细覆盖。delta rule（Widrow & Hoff, 1960）在线性注意力的基础上引入了纠错性写入： $S_{t} = S_{t - 1} + (v_{t} - S_{t - 1} k_{t}) k_{t}^{⊤}$ ，其中 $S_{t - 1} k_{t}$ 是记忆对当前 key 所存储 value 的预测，更新量与预测误差成正比。这实际上是 Hopfield 网络（Hopfield network）的 Hebbian 更新与误差纠正反馈的结合。Gated DeltaNet（GDN）在此基础上增加了标量指数遗忘 $S_{t} = α_{t} S_{t - 1} + β_{t} Δ_{t}$ ；GDN-2 则进一步将标量门替换为全元素级矩阵门：

S_{t} = (1 - B_{t}) ⊙ S_{t - 1} + W_{t} ⊙ {\tilde{Δ}}_{t}, {\tilde{Δ}}_{t} = (v_{t} - S_{t - 1} k_{t}) k_{t}^{⊤}

其中 $B_{t}, W_{t} \in (0, 1)^{d_{v} \times d_{k}}$ 是逐元素的 erase 和 write 矩阵门。GDN-2 的雄心在于通过逐元素的精细控制来提升记忆的选择性，但这一设计在理论上却与高效训练的核心工具——WY-form 分块求解器——产生了结构性冲突。

WY-form 求解器（源于 Householder 变换的 WY 表示）是现代 delta-rule 模型高效训练的关键。它将长度为 $L$ 的一个 chunk 内的递推转化为一个单一的三角线性系统，通过 tensor core GEMM 在 $O (L^{2} d_{k} + d_{v} d_{k})$ 的复杂度内完成，而非 naive 递归的 $O (L d_{v} d_{k}^{2})$ 。然而，这一求解器的有效性依赖于一个严格条件：intra-chunk 的耦合矩阵 $M \in R^{L \times L}$ 必须独立于 value 索引。CARVE 的核心理论贡献——Chunkability Boundary（Theorem 11）——精确刻画了这一条件：对于门控 delta 递推，耦合矩阵与 value 索引无关（从而允许单一 WY-form 三角求解）当且仅当 value 轴上的 erase 是平凡的（ $b_{t} \equiv 0$ ）。当 $b_{t} \neq 0$ 时，系统分解为 $d_{v}$ 个独立的三角求解，每个带有 $v$ 依赖的预因子 $β_{t - 1} [v] / β_{s} [v]$ ，这些预因子无法在不除以几何衰减至零的量的情况下消去，导致数值下溢。因此，将 erase 限制在 key 轴不是设计上的妥协，而是一个定理：它是 WY-form 求解器保持有效的精确充要条件。

在这一 key 轴约束的框架下，CARVE 建立了六个形式化理论保证。第一，Subsumption Hierarchy（Theorem 1）证明 CARVE 在 key 轴门控 delta 递推家族中严格包含所有先前成员：CARVE $\supset$ key-axis gated（memory-blind） $\supset$ scalar-gated DeltaNet $\supset$ delta rule $\supset$ linear attention。每一项包含都是严格的，且 CARVE 与 GDN-2 是不可比较的（Proposition 2）——GDN-2 的逐元素 erase 可以表示 rank-2 的掩码模式，而 CARVE 的 key-axis erase 只能是 rank-1，因此 GDN-2 不包含于 CARVE；反之，CARVE 的内容感知门控可以在 Selective Key Overwrite（SKO）任务上实现零误差，而任何 memory-blind 门控在门宽不足时必然失败，因此 CARVE 也不包含于 GDN-2。

第二，Lyapunov Stability（Theorem 4）表明，在最小 erase gate $b_{min} > 0$ 和最大 decay factor $g_{max} < 1$ 的条件下，CARVE 的状态范数满足：

∥ S_{t} ∥_{F} \leq ρ_{c}^{t} ∥ S_{0} ∥_{F} + \frac{M}{1 - ρ_{c}}, ρ_{c} = (1 - b_{min}) g_{max}

由于双轴门控（erase 和 decay）的联合作用， $ρ_{c} < min (1 - b_{min}, g_{max}) < 1$ ，这意味着 CARVE 的收缩比率比 GDN-2 的逐元素 bound 更紧。在 $b_{min} = g_{max} = 0.05$ 时，CARVE 的有效遗忘率为 0.9025，而 GDN-2 为 0.95，这直接减少了长上下文中的干扰。

第三，Gradient Flow（Theorem 5）保证了梯度范数通过两个独立的门控路径被控制：

{‖ \frac{\partial L}{\partial S_{0}} ‖}_{F} \leq {‖ \frac{\partial L}{\partial S_{T}} ‖}_{F} \cdot \prod_{t = 1}^{T} ρ_{t}, ρ_{t} = (1 - b_{min, t}) \exp (g_{max, t})

这为 CARVE 引入长程依赖时不会增加新的梯度消失问题提供了理论保证。

第四，Expressivity Separation（Theorem 7）构造了一个具体的任务——Selective Key Overwrite（SKO）——其中 CARVE 以 $O (d_{v} + d_{k})$ 参数达到零误差，而任何 memory-blind 门控在门宽为 $o (d_{k} / 2)$ 时必有正误差。第五，Saturation and Content-Aware Retention（Theorem 8）将记忆容量与内容感知联系起来：当状态饱和（写入超过 $n^{*} = min (d_{v}, d_{k})$ 个正交键值关联）时，最优的保留策略需要知道哪些关联具有最大的查询质量，这正是内容感知门控所能实现的，而 memory-blind 门控无法做到。第六，Speed-Accuracy Pareto Frontier（Theorem 9）解析地推导了最优 chunk size $L^{*} = \sqrt{(1 - λ) (1 - ρ) / (λ M Q)}$ ，将 chunk size 的选择从启发式提升为理论可计算的问题。

技术架构

CARVE 的技术架构围绕一个单一的架构原则构建：erase 只在 key 轴上操作。这一约束不是限制，而是开启了两项此前在 GDN-2 框架下无法实现的设计自由度。完整的 CARVE 状态更新方程为：

S_{c, t} = S_{c, t - 1} \cdot diag (\exp (g_{c, t})) \cdot diag (1 - b_{c, t}) + w_{h, t} \cdot (v_{c, t} - S_{c, t - 1} k_{c, t}) k_{c, t}^{⊤}

这里 $S_{c, t} \in R^{H \times d_{v} \times d_{k}}$ 是 chunk $c$ 中第 $t$ 个 token 的每头状态。右侧乘积中的两个对角矩阵都在 key 轴上操作： $diag (\exp (g_{c, t}))$ 是指数 decay 门， $diag (1 - b_{c, t})$ 是内容感知 erase 门。随后加入的是一个 rank-1 写入：delta-rule 预测误差 $v_{c, t} - S_{c, t - 1} k_{c, t}$ 被每头标量 write gate $w_{h, t}$ 统一缩放，并以外积形式与 $k_{c, t}^{⊤}$ 累加。所有门控严格限制在 key 轴——这是 CARVE 唯一且充分的架构承诺，正如 Theorem 11 所证明的，它使得 WY-form 内核完全无需修改即可运行。

从输入投影开始，CARVE 对隐藏状态 $h_{1 : T}$ 计算 query、key 和 value： $q = SiLU (W_{Q} h)$ , $k = SiLU (W_{K} h)$ , $v = SiLU (W_{V} h)$ ，以及门控预激活：decay logits $f = f_{proj} (h)$ （FP32 精度以保证数值稳定性）、erase bias $b_{x} = b_{proj} (h)$ 和标量 write 预激活 $\hat{w} = w_{proj} (h)$ 。与 GDN-2 的 $H \times d_{v}$ 维 write 预激活不同，CARVE 的 write 预激活仅为 $H$ 维——每个头一个标量，实现了 $d_{v}$ 倍的参数缩减。

CARVE 最具巧思的技术机制在于内容感知 erase 门的实现方式。直接读取状态矩阵 $S_{t - 1}$ 作为内容信号将产生 $O (d_{v} d_{k})$ 的额外 HBM 内存流量， effectively doubling the recurrent-state access cost and negating the efficiency gains of recurrence. CARVE 完全绕过了这一瓶颈，通过观察到一个关键事实：Triton 内核在每次迭代中必须将循环输出 $o_{t} = S_{t - 1} q_{t}$ 写入 HBM 作为副产品。这个张量本来就要被写出，CARVE 只需在它还热于 L2 cache 时读取回来，计算前一个 chunk 的输出均值：

m_{c} = \frac{1}{L} \sum_{t \in c - 1} o_{t} \in R^{H \times d_{v}}, m_{0} = 0

这个内容信号 $m_{c}$ 是 chunk $c - 1$ 的平均循环输出，用于 chunk $c$ 的 erase 决策。虽然它有一 chunk 的 staleness，但 Proposition 14 证明这一 staleness 导致的门控扰动满足 $∥ b_{c, t} - b_{c, t}^{exact} ∥_{2} \leq ∥ U_{b} ∥_{2} \cdot ∥ Δ o ∥_{F} / \sqrt{L}$ ，即误差随 $\sqrt{L}$ 衰减而非累积。在实践中，所有测试的 chunk 长度（ $L \in {16, 32, 64, 128}$ ）下，与精确逐 token 门控的偏差平坦地保持在 0.18%。

内容信号 $m_{c}$ 通过一个低秩投影映射为 chunk 级的门控偏置： $U_{b} (m_{c}) = W_{U_{2}} \tanh (W_{U_{1}} m_{c})$ ，其中 $W_{U_{1}} \in R^{r \times d_{v}}$ , $W_{U_{2}} \in R^{d_{k} \times r}$ 。最终的 erase gate 为：

b_{c, t} = σ (b_{x, t} + U_{b} (m_{c})) \in [0, 1]^{H \times d_{k}}

在初始化时 $U_{b} \equiv 0$ ，因此 $b_{c, t} = σ (b_{x, t})$ ，CARVE 在 step 0 上与矩阵门基线 bit-identical。随着训练进行， $W_{U_{2}}$ 偏离零，内容门控激活，引入记忆感知的选择性。这种设计确保了任何观察到的性能差异都只能归因于内容门的学习效果。

在 write 侧，标量 write gate 的实现简洁而有效： $w_{h, t} = σ ({\hat{w}}_{h, t}) \in (0, 1)$ ，然后将其广播到所有 $d_{v}$ 个 value 通道： $w_{c, t} = w_{h, t} \cdot 1_{d_{v}}$ 。这用 $H$ 个参数替代了 GDN-2 的 $H \cdot d_{v}$ 参数。Theorem 15 从理论上证明，对于单槽联想回忆，所有 $d_{v}$ 通道被同一标量缩放，输出与正确值仅相差一个与 $d_{v}$ 无关的标量因子，因此逐通道的 write 门无法提升该核心任务的准确性。消融实验（Table 7）在 1.3B 规模上确认了这一标量门控在质量上是中性的。

指数 decay 门 $g_{c, t} = - \exp (A) ⊙ softplus (f_{c, t} + τ)$ 在 Triton 内核内部计算（"gate-in-kernel" 融合），避免了一个完整的 BF16 激活张量写入 HBM，在 batch size 为 8、序列长度 1024、12 头、 $d_{k} = 64$ 的配置下节省了约 100MB 内存，并贡献了 +1.2K tok/s 的吞吐量提升。

CARVE 的 forward pass 算法（Algorithm 1）按 chunk 顺序执行：对每个 chunk，先计算低秩内容投影 $u_{b}$ ，然后生成内容感知 erase gate $b$ 和标量 write gate $w$ ，接着调用未修改的 WYCHUNKDELTA 内核执行 WY-form 状态更新，最后计算下一个 chunk 的内容信号 $m_{c + 1}$ 。这种设计的精妙之处在于，WY-form 内核完全不需要知道内容门的存在——它接收的 $b_{c, t}$ 和 $w_{c, t}$ 与 GDN-2 接收的矩阵门在格式上兼容，只是结构上已经被约束为 key-axis 和标量形式。内核的代码路径零改动，这意味着 CARVE 继承了 GDN-2 经过优化的所有硬件效率特性，同时增加了内容感知能力。

实验评估

CARVE 的实验设计遵循一个由浅入深的逻辑链条：首先验证内核数值正确性，然后确认训练吞吐量和内存，接着测试 chunkability 边界的紧致性，最后才进入语言建模和下游任务的评估。这种从硬件到软件的渐进式验证策略，确保了任何下游质量提升都可以被精确归因于架构创新，而非实现误差。

在 125M 参数配置（ $d = 768$ , $H = 12$ , $d_{k} = d_{v} = 64$ , $T = 1024$ , 词表 32K）上，作者对 CARVE 的 Triton 内核进行了逐张量数值精确度检查。在支持的十三个配置组合中（包括不同 delta rank $R \in {1, 2, 4}$ 、内容投影秩 $\leq 32$ 、chunk 长度 ${16, 32, 64}$ ），所有梯度张量与 fp32 autograd 参考的相对误差均低于 $7 \times 10^{- 7}$ ，处于 fp32 舍入误差范围内。尤为关键的是，初始化时内容投影为零的 CARVE 与 GDN-2 基线的输出是 bit-exact 的，这意味着后续任何观察到的性能差异都可严格归因于内容门的学习效果。chunk 模式与逐 token 模式的输出一致性也是 bit-exact 的，确认了 WY-form 求解的正确性。

训练吞吐量与内存的比较（Table 3）揭示了 CARVE 的核心效率优势。在单 H100、batch size 8、chunk size 64 的条件下，GDN-2 矩阵门基线达到 93.77K tok/s。一个内容感知精确递归的变体（绕过 WY-form，逐 token 执行）即使使用融合 Triton 反向传播，也只能达到 24.8K tok/s，比基线慢 3.8 倍——这恰恰印证了 Theorem 11 的警告：移除 value 轴依赖的尝试要么发散，要么产生定性不同的模型。CARVE 通过保留 key 轴约束，以 93.36K tok/s 的吞吐量运行在基线的 0.4% 范围内（在 5 轮交错测量的统计噪声内），同时峰值内存从 7.50GB 降至 6.54GB（-13%），mixer 参数减少 19%。这是一个典型的帕累托改进：在质量提升的同时，硬件 footprint 反而更小。

chunkability 边界的微基准测试（Table 4）进一步验证了 Theorem 11 的实证紧致性。测试在 125M 激活值上比较了不同变换方式。仅对内容读取进行 chunk 对齐的 CARVE 是可 chunk 的，偏差为 0.18% 且在 $L \in {16, 32, 64, 128}$ 上平坦；试图解耦 value decay 的变换偏差为 4.5% 并在 $L \geq 16$ 时恶化；通过 $β$ -除法移除 value decay 的直接导致 NaN 发散；将 value gate 移出 delta 循环则产生了一个与 CARVE 定性不同的模型（偏差 98%）。这些结果确认了：在门控 delta 递推中，保持 chunk 并行性的唯一安全路径就是 key 轴-only 的 erase，任何试图绕过这一约束的捷径都会以数值不稳定或模型改变为代价。

语言建模与常识推理的评估在 1.3B 参数、100B FineWeb-Edu token 的严格配置下进行：AdamW（ $β = (0.9, 0.95)$ ，权重衰减 0.1，梯度裁剪 1.0），余弦学习率调度，峰值 1.5e-4，batch size 4M token，序列长度 4096，DeepSeek-V3 分词器，固定数据种子。所有结果为三种独立模型种子的平均。

模型	Wiki PPL↓	LMB PPL↓	LMB acc↑	PIQA↑	Hella.↑	Wino.↑	ARC-e↑	ARC-c↑	OBQA↑	SIQA↑	BoolQ↑	Avg↑
Mamba-2	16.79	12.38	45.24	72.58	55.51	55.33	70.68	35.26	31.00	40.63	60.19	51.82
GatedDeltaNet	16.40	11.89	49.62	72.31	56.50	56.75	68.81	35.15	30.20	40.53	58.78	52.07
KDA	16.81	11.68	48.13	72.09	55.75	55.72	70.83	35.92	30.40	40.99	60.67	52.28
Mamba-3 SISO	16.30	12.99	45.06	72.31	55.58	56.20	70.45	34.56	31.00	41.76	55.90	51.42
Mamba-3 MIMO	16.45	11.66	47.82	72.36	56.49	55.78	72.38	38.07	30.00	40.89	57.74	52.39
GDN-2	15.90	11.41	48.09	72.80	56.84	57.85	72.43	38.23	31.60	40.58	59.54	53.11
CARVE	15.72	11.27	48.87	73.15	57.31	58.12	73.06	38.74	32.20	40.91	60.43	53.74
GDN-2+SWA	15.62	10.43	50.90	72.20	58.46	58.56	71.89	36.69	33.00	41.50	62.57	53.97
CARVE+SWA	15.41	10.29	52.37	74.31	59.83	60.71	72.54	38.84	34.20	43.67	64.04	55.61

CARVE 在纯循环配置下以 WikiText 困惑度 15.72 领先所有循环基线，相比 GDN-2 的 15.90 有 -0.18 的改进，在三种子的统计上为 $4.5 σ$ 效应。在混合配置（3:1 CARVE:SWA）下，这一优势进一步扩大至 15.41 对 15.62。机制归因分析（Table 7）显示，将内容门冻结（ $U_{b} \equiv 0$ ）仅保留标量 write 门时，Wiki PPL 为 15.89，与 GDN-2 几乎无差异；仅启用内容感知 erase 而移除标量 write 门时，困惑度降至 15.74；两者结合达到 15.72。这表明 -0.16 的改进几乎全部来自内容感知 erase，标量 write 门主要负责参数和内存效率而非直接质量提升，与 Theorem 15 的理论预测一致。

在 RULER 长上下文检索探测中（Table 8），CARVE 在所有 S-NIAH（单针检索）和 MK-NIAH（多键检索）上下文长度上均设定了新纪录。在多键干扰更严重的 MK-NIAH-1 任务上，CARVE 在 4K 上下文达到 61.8%，远超 GDN-2 的 31.8%，这直接印证了内容感知选择性擦除在状态饱和时的优势——Theorem 8 预测，当记忆超过容量时，知道哪些关联应该保留可以显著降低期望检索误差。在六项真实世界检索任务（Table 9）上，CARVE 同样领先所有基线，平均得分 31.09（循环）和 45.89（混合），相比 GDN-2 的 29.88 和 42.28 均有显著提升。在需要嘈杂关联恢复的任务（如 SWDE 和 SQuAD）上，CARVE 的循环配置优势尤为突出，这与其选择性擦除机制能够区分高价值关联和噪声的能力直接相关。

综合价值与局限

CARVE 的理论意义在于它从根本上改变了我们对门控循环架构中"选择性"的理解。在 GDN-2 之前，选择性被视为门控维度的函数——更多维度的门控意味着更精细的选择性。CARVE 证明，真正的选择性不在于门控有多少参数，而在于门控能够访问什么信息。通过让 erase 门观察已存储的内容（通过输出重用），CARVE 以极低的参数和内存成本实现了内容条件的选择性遗忘，这在概念上是一个重要的跃迁。它表明，循环架构的效率瓶颈往往不在计算而在于信息流的设计：通过重用已经存在的张量（循环输出），可以在零额外内存成本下引入此前被认为需要昂贵状态读取的功能。

从实践角度看，CARVE 的吸引力在于它提供了一个清晰的技术迁移路径。由于 CARVE 在初始化时与 GDN-2 bit-identical，且使用了完全相同的 WY-form 内核，现有的 GDN-2 代码库可以几乎无缝地迁移到 CARVE——只需增加一个低秩内容投影模块和一个标量 write 门，同时移除 value 轴的 erase 投影。在 1.3B 规模上，这种迁移带来的困惑度降低、常识推理提升、长上下文检索改善、以及内存和参数的节省，构成了一份令人信服的收益清单。对于需要部署长上下文语言模型的系统工程师来说，CARVE 在保持循环架构常数内存推理优势的同时，提供了接近 Transformer 混合模型的质量，是一个极具吸引力的选项。

然而，CARVE 的设计也并非没有局限。最诚实的限制在于内容信号的来源：它是前一个 chunk 的循环输出均值。这意味着极短序列——低于两个 chunk 长度——根本不会接收到任何内容信号。虽然 Proposition 14 证明在典型训练设置下 staleness 误差随 $O (1 / \sqrt{L})$ 衰减，但短序列场景确实超出了这一保证的假设范围。此外，所有评估都集中在预训练阶段，CARVE 在微调和指令遵循阶段的行为仍有待探索。内容门在训练后期学习到的模式是否直接迁移到微调任务？在需要快速适应新领域的场景中，零初始化的内容投影是否会导致冷启动问题？这些都是开放问题。

另一个值得思考的局限是 CARVE 与 GDN-2 的不可比较性（Proposition 2）。虽然 CARVE 在实验中全面优于 GDN-2，但这并不意味着 GDN-2 的 value-axis erase 在理论上毫无价值。GDN-2 可以表示 rank-2 的 erase 模式，而 CARVE 只能表示 rank-1 模式。在某些尚未被识别的任务上，这种更高秩的 erase 能力可能是有用的。CARVE 的胜利在于它在当前已知的评估任务（语言建模、常识推理、长上下文检索）上表现更好，同时保持了硬件效率，但这并不排除未来发现 GDN-2 更高秩 erase 有独特优势的场景。

从更广阔的视角看，CARVE 代表了循环架构设计哲学的一个转向：从"增加门控维度来提升选择性"转向"利用架构约束来解锁信息流的新维度"。这一哲学可能适用于更广泛的序列建模问题——例如，多模态设置中的选择性键覆盖（selective key overwrite）就是一个自然延伸，当后续视频帧更新先前存储的视觉对象时，内容感知门控可以精确地定位并覆盖旧关联，而不影响其他记忆。

延伸阅读与思考

CARVE 的工作建立在多个活跃研究线索的交叉点上。最直接的前身是 Gated DeltaNet（GDN）和 GDN-2（Yang et al., 2025; Hatamizadeh et al., 2026），它们将 delta rule 从标量门控推进到矩阵门控，展示了门控机制对循环模型质量的显著影响。KDA（Kimi Team, 2025）首次将门控 machinery 移到 key 轴上，为 CARVE 的 key-axis-only 约束提供了重要铺垫。在线性注意力方面，Katharopoulos et al. (2020) 的核化注意力、Schlag et al. (2021) 揭示的线性注意力与快速权重编程（fast-weight programming）之间的等价性，以及 Test-Time Training（Sun et al., 2025）和 Longhorn（Liu et al., 2025）将 delta rule 与在线学习目标联系起来的工作，共同构成了 CARVE 的理论土壤。在硬件效率方面，FlashAttention（Dao et al., 2022）和 WY 表示（Schreiber & Van Loan, 1989）直接支撑了 CARVE 的融合内核设计。

在相同的问题空间内，存在几种不同的解决哲学。状态空间模型（SSM）如 Mamba 系列（Gu & Dao, 2023; Dao & Gu, 2024; Lahoti et al., 2026）选择了结构化状态矩阵和快速并行扫描的路径，放弃了全矩阵状态以换取硬件效率。CARVE 与 SSM 是互补的：CARVE 坚持全矩阵 delta-rule 状态，但通过门控约束来保持效率。混合架构（如 Griffin、Jamba、Samba）在循环层和注意力层之间交替，利用各自的优势覆盖不同上下文范围。CARVE 的混合设计（3:1 CARVE:SWA）与这些工作一致，但 Theorem 10 提供了一个此前文献中缺失的形式化最优性保证：存在某个混合比例，使得混合架构同时实现线性训练成本、近精确局部检索和全局内容感知检索。

未来最令人期待的方向之一是多模态 CARVE。视觉序列中常见的场景更新——例如一个物体在视频中被重新识别为不同类别——正是 Selective Key Overwrite（SKO）任务的现实对应。CARVE 的内容门通过循环输出的均值来感知当前记忆状态，这种机制天然适合视觉领域，其中空间特征可以作为 key，语义特征作为 value。另一个方向是内容门的可解释性：如果我们可以理解内容投影 $U_{b}$ 在训练后学会了什么模式——它倾向于擦除哪些 key 方向、在什么条件下保留——我们就能获得对循环语言模型如何处理长程指代消解和事实修正的深层洞察。这可能会揭示出语言模型中此前未被注意到的"记忆管理策略"。

最后，一个深刻的开放问题是：在更大的规模（7B 参数、1T token）上，CARVE 的 -0.18 困惑度优势是会放大、缩小还是保持？如果内容感知门控的效益随模型容量增加而增长，那将强烈暗示当前大语言模型的记忆管理是一个瓶颈问题，值得在更大规模上投入工程资源。如果优势缩小，则可能意味着在充分参数化的情况下，memory-blind 门控可以通过纯粹的数据驱动学习来近似内容感知行为。这个实证问题的答案，将深刻影响我们对循环模型扩展规律的理解。

对我而言，这篇论文最引人深思的方面是它揭示了一个反直觉的设计原则：有时候，最优雅的解决方案不是增加更多机制，而是找到一个恰到好处的约束，让现有机制释放出新的能力。CARVE 的 key-axis-only 约束看似减少了自由度，实际上却解锁了内容感知和参数效率——这种"以退为进"的设计哲学，在深度学习的架构创新中或许具有更广泛的应用价值。

笔记创建时间: 2026-06-29
阅读方式: L2 深度阅读