RL 的收益究竟从网络的哪里产生是所有层均等贡献还是集中在特定层本文第一作者为明尼苏达大学博士生张子健指导老师为洪明毅教授。其他作者包括北京大学的胡日臻Amazon的Hongzhou Lin明尼苏达大学的Athanasios Glentis、Dawei Li、Chung-Yiu Yau。现有的 RL 后训练方法统一更新所有 Transformer 层隐含假设每一层对 RL 收益的贡献是均等的。来自明尼苏达大学、北京大学和亚马逊的团队挑战了这一假设通过对 7 个模型、跨越 2 个模型家族、3 种 RL 算法、3 个任务领域的系统性逐层研究发现 RL 收益高度集中在一小部分中间层而非均匀分布。更令人惊讶的是训练单个 Transformer 层即可匹敌甚至超越全参数 RL 训练而基于这一发现的策略可以持续超越标准全参数 RL 训练。论文标题《Is One Layer Enough? Training a Single Transformer Layer Can Match Full-Parameter RL Training》论文链接https://arxiv.org/abs/2607.01232背景与动机RL 后训练的收益究竟来自哪里强化学习与可验证奖励RLVR已成为大语言模型后训练的核心组件在数学推理、代码生成和智能体决策等任务上取得了显著提升。然而尽管大量研究关注于更有效的 RL 目标、奖励模型和优化算法一个更基本的问题却很少被探讨RL 的收益究竟从网络的哪里产生是所有层均等贡献还是集中在特定层事实上预训练 LLM 的层级结构高度不均匀这一现象已被多项研究证实。在推理阶段研究者发现移除某些层会导致性能崩溃而移除另一些层几乎没有影响有研究识别出“基石层”其移除会使性能退化到接近随机水平。在监督微调SFT阶段也有工作提出了随机采样层更新、重要性感知采样、基于梯度统计的动态层选择等策略。更值得注意的是被识别为重要的层在不同数据集和训练设置间保持高度一致暗示预训练模型具有稳定的层级结构组织。然而这些研究主要集中在推理行为分析和监督微调场景。RL 后训练是否也具有和层有关的结构化模式例如是否某些层对于RL的贡献很大此前几乎没有被探索过。理解这一层级结构不仅能揭示 RL 如何重塑预训练模型还可能为进一步改进 RL 后训练提供新的算法设计思路。现有的 RL 后训练方法如 GRPO、Dr. GRPO、GiGPO统一更新所有 Transformer 层隐含假设每一层对最终性能提升的贡献是相似的。这篇工作通过系统性的逐层实验对这一假设提出了挑战。核心方法层贡献度Layer Contribution为了量化每一层在 RL 后训练中的作用研究团队提出了一个简单而有效的指标——层贡献度 C(k)对于一个有 L 层的 LLM冻结除第 k 层以外的所有参数包括 Embedding 和 LM Head仅用 RL 训练该层然后将其性能提升与全参数 RL 基线进行对比图1层贡献度计算公式其中 S_base 为预训练模型的评测分数S_full 为全参数 RL 训练后的评测分数S_k 为仅训练第 k 层后的评测分数。C(k) 1.0 表示单层训练匹配全参数 RLC(k) 1.0 表示超越全参数 RL。这一框架的关键设计在于梯度仍然通过整个网络反向传播计算仅参数更新被限制在第 k 层。这确保了每一层都在相同的信息环境下被评估差异仅反映层本身的学习能力。举一个具体的例子在 Qwen3-1.7B-Base 上预训练模型的数学涵盖MATHGSM8KAMCOlympiadBench平均分为 44.1%。之后我们使用Numina-COT数据集对模型进行GRPO训练。经过我们的数轮对于全参数 GRPO的 训练与调优后结果提升至 50.8%提升 6.7 个百分点。然而当仅训练 Layer 10 时分数达到 51.8%对应的层贡献度 C (51.8 − 44.1) / (50.8 − 44.1) 1.14意味着仅训练这一层就恢复了全参数训练 114% 的收益。而最弱的 Layer 24 仅达到 46.1%C 0.28仅恢复了 28% 的收益。同一个模型内最好层和最差层之间存在超过 4 倍的差距。图2以Qwen3-1.7B-base的训练结果为例层贡献度指标衡量了单层本身的学习能力Layer10可以超越全量RL而Layer24仅有全量RL 28%的收益实验设置研究团队在 7 个模型上进行了系统性实验覆盖多个维度的变化多种模型大小和家族Qwen31.7B/4B/8B、Qwen2.51.5B/3B/DeepSeek-Distilled-7B 多种 RL 算法GRPO、Dr. GRPO、GiGPO 多个任务领域数学推理NuminaMath-CoT、DeepScaleR、MATH、Skywork、代码生成DeepCoder、智能体决策ALFWorld评估体系对于 Qwen3 主实验研究团队在 12 个基准测试上进行评估覆盖四大类别数学MATH500、GSM8K、OlympiadBench、AMC作为域内评估以及三个域外类别——代码HumanEval、MBPP、LiveCodeBench、推理GPQA-Diamond、MMLU-Pro和语言C-Eval、IFEval、MGSM。总分为四个类别分数的等权平均。对于 Qwen2.5-Math-1.5B 和 DeepSeek-Distilled-Qwen-7B实验则在 6 个数学基准AIME 2024、AIME 2025、AMC、MATH500、Minerva Math、OlympiadBench上评估。对于智能体实验在 ALFWorld 的 6 类家务任务上评估成功率。公平比较协议为了确保单层训练与全参数训练的比较反映真实的层级差异而非超参数差异研究团队采取了严格的实验协议首先为全参数基线调优学习率并选择最佳值然后将该学习率统一应用于所有单层训练确保没有任何层获得不公平的优势。所有配置使用相同的超参数batch size、KL 系数、clip range、epoch 数并训练至收敛。此外还通过学习率消融实验验证了改变学习率不会改变层贡献度的排序。发现一中间层主导 RL 收益具有与训练设置无关的高度一致性在所有 7 个模型上同样的结构性规律反复出现位于网络深度 40–60% 的层始终拥有最高的层贡献度而靠近输入端和输出端的层贡献显著偏低。图37个模型的完整层贡献度-层相对深度图。7个模型均呈现出层贡献度中间高两边低的趋势其中部分层单独训练可以超越全量RL即处于层贡献度大于1的绿色区域跨数据集一致性为验证层贡献度是否依赖于特定训练数据研究团队在 Qwen3-1.7B-Base 上使用三个不同数据集分别进行单层训练NuminaMath-CoT数学、DeepScaleR数学和 DeepCoder代码。对比 NuminaMath-CoT 和 DeepScaleR 两个数学数据集尽管数据组成和难度不同28 层的贡献度排序呈现强相关Spearman ρ 0.76, p 0.001——在一个数据集上排名高的层在另一个数据集上同样排名高。跨任务一致性更有意义的是跨任务的验证将 NuminaMath-CoT数学与 DeepCoder代码对比这两个任务训练的是完全不同的能力但层贡献度排序仍然显著相关Spearman ρ 0.59, p 0.001。即使训练目标从数学推理切换到代码生成同样的层仍然倾向于拥有最高贡献。图4在Qwen3-1.7B-base上对于不同任务的层贡献度进行了分析。结果显示即使更换训练数据集和任务层贡献度的排序依然有高度的一致性跨模型家族和 RL 算法一致性在 Qwen2.5-Math-1.5B 上使用 Dr. GRPO而非 GRPO训练层贡献度曲线保持了相同的中间高、两端低的结构。最高贡献层集中在 Layer 14C 1.01和 Layer 16C 1.00而最低贡献层位于网络后段Layer 23C 0.42。最佳层的贡献度是最差层的两倍以上。图5: Dr.GRPO训练Qwen2.5-Math-1.5B的实验结果跨任务领域一致性在智能体任务 ALFWorld 上使用 GiGPO 训练 Qwen2.5-1.5B-Instruct 和 Qwen2.5-3B-Instruct虽然任务性质从数学推理完全切换到了多步交互式决策且 RL 增益幅度远大于数学场景83.7 和 66.0 个百分点 vs 数学任务的 6–10 个百分点中间层集中的结构仍然保持不变。这说明该模式不局限于小幅度的适应对大幅度的能力习得同样成立。结果显示使用Layer 14训练Qwen2.5-1.5B-instruct模型在ALFWorld任务上能够获得超越全量训练的结果包括我们自己设立的训练baseline以及GiGPO的官方结果。使用Layer 16训练Qwen2.5-3B-instruct模型也能一样获得超越全量训练的结果。图6GiGPO训练Qwen2.5-1.5B-instruct和训练Qwen2.5-3B-Instruct的实验结果这些结果共同表明层贡献度是预训练模型的一种内在结构属性由模型权重决定而非取决于训练数据或任务。发现二单层训练可以超越全参数 RL在测试的每一个模型上最佳单层都达到或超过了全参数训练C ≥ 1.0图7单层训练在实验的7个模型上均能超越全量RL这一结果的意义在于它从根本上挑战了当前 RL 后训练的一个隐含假设RL 带的能力提升需要整个网络的协调适应。事实表明情况恰恰相反——大部分 RL 收益可以被压缩到极少数层的参数变化中。这意味着 RL 后训练对模型的修改远比我们想象的更加局部化它并非在重塑整个网络而更像是在调整几个关键的旋钮。一个自然的推论是标准的全参数 RL 训练可能本身就是次优的。当所有层被统一训练时低贡献层的更新不仅没有贡献反而可能引入噪声或与高贡献层的学习发生干扰稀释整体提升。这一推论在下文的选择性训练实验中得到了直接验证——冻结低贡献层后模型性能反而超过了全参数训练。实用策略基于层贡献度的训练优化基于上述发现研究团队提出了三种简单而有效的基于层贡献度的训练策略策略一层自适应学习率对高贡献层使用更高的学习率1e-5其他层保持默认率5e-6。在所有模型规模上均带来稳定提升在 Qwen3-1.7B 上Boost B10 达到 53.70%vs 基线 50.82%2.88在 Qwen3-8B 上Boost B10 达到 67.42%vs 基线 66.43%0.99。作为对照实验研究团队也测试了提升最低贡献层学习率的效果Boost W5/W10。结果在所有三个模型上均导致性能下降确认了改进来自贡献度引导的选择而非学习率调整本身。策略二层选择性训练仅训练贡献度最高的 k 层冻结其余所有层。效果显著Qwen3-8B仅训练 top-10 层 → 69.11%全参数 RL 为 66.43%2.68代表全参数 RL 总增益的 32%Qwen3-4B仅训练 top-5 层 → 65.87%全参数 RL 为 62.97%2.90代表 25% 额外增益Qwen3-1.7B仅训练 top-5 层 → 51.53%全参数 RL 为 50.82%0.71相反仅训练最低贡献的 k 层则导致性能大幅下降如 Only W5 在 1.7B 上仅 46.87%4B 上 59.40%8B 上 62.04%。这表明在较大规模上低贡献层的更新可能并不有益冻结它们反而产生更干净的优化。策略三零分析启发式对于一个模型我们可以不需要任何层贡献度信息直接按位置选择中间 5 层进行训练进而获得效果的提升。具体而言对于 28 层的模型选择 Layer 11–15对于 36 层的模型选择 Layer 15–19。在 Qwen3-1.7B-Base 上中间 5 层启发式达到 51.35%vs 贡献度引导选择的 51.53%Only B5和全参数基线的 50.82%。在 Qwen3-8B-Base 上达到 68.19%vs 68.97%Only B5和 66.43%Full额外增益代表了全参数 RL 总增益的 21%。实用启示在所有三个模型规模上这一简单启发式均超越了全参数 RL 基线。不需要对于新模型新任务去分析层贡献度简单地训练中间层就是一个强大的默认策略。图片 图 8基于层贡献度引导的训练策略在不同模型规模上的表现。蓝色对高贡献层提升学习率。绿色仅训练高贡献层。红色使用低贡献层的对照实验。紫色基于位置的中间层启发式。灰色全参数基线同时由虚线标示。Bk/Wk按层贡献度排序的最优/最差 k 层。误差棒表示 3 次独立训练的标准差。深入分析不是参数变化量而是参数空间质量一个自然的疑问是中间层贡献高是否只是因为它们在全参数训练中参数变化更大如果全参数训练后只有中间层的权重发生了显著变化那么中间层贡献度高就是一个自然且不令人吃惊的结论。为此研究团队在 Qwen3-1.7B-Base 上测量了每层的权重变化幅度 ‖Δθ_k‖₂得到两个关键观察观察一全参数训练下权重变化是均匀的。所有层的权重L2范数的变化幅度在 0.5 到 0.8 之间分布非常均匀。中间层并没有比其他层变化更多。然而它们在单独训练时却能产生远超其他层的性能提升。这种“权重变化均匀但贡献度高度不均匀”的脱钩表明层贡献度不能用参数变化幅度来解释。观察二单层训练时所有层的权重变化幅度也是相似的。当一个层被单独训练时无论它是高贡献层还是低贡献层其权重L2范数的变化幅度都在 0.8–1.0 之间——显著大于全参数训练时的变化0.5–0.7这表明单层需要在参数空间中移动更远来补偿其他层的冻结。但关键是高贡献层和低贡献层经历了相似幅度的权重变化却产生了截然不同的性能结果。图 9Qwen3-1.7B-Base 上每层的权重变化幅度的L2范数₂。蓝色全参数训练所有层均发生变化。彩色尖峰单层训练仅被训练的层发生变化其余层保持为零。在全参数训练下各层的权重变化幅度相对均匀与高度不均匀的层贡献度形成鲜明对比。在单层训练下所有被训练的层无论贡献度高低都经历了相近幅度的权重变化表明层贡献度反映的是该层参数子空间的有效性而非参数变化的幅度。这两个观察共同表明层贡献度反映的是一层参数子空间捕获 RL 改进的有效性而非参数变化的幅度。某些层的参数空间天然更适合承载 RL 带来的能力提升。总结本文揭示了 RL 后训练的一个此前未被认识的结构性属性RL 收益高度集中大部分 RL 提升集中在一小部分中间层而非均匀分布在整个网络。训练单个层即可匹敌甚至超越全参数 RL。层贡献度具有一致的结构中间层贡献最高这一规律在不同模型家族、RL 算法、数据集和任务领域间保持稳定是预训练模型的内在属性。可直接指导训练优化简单的基于层贡献度的训练策略自适应学习率、选择性训练、中间层启发式均持续超越标准全参数 RL 训练。这些发现为理解 RL 如何改变大语言模型提供了新的视角也为改进 RL 后训练提供了实用的新方向。