一句话总结有的研究认为 RL 时要重点训高熵 token激发探索有的则认为要避开它们干扰优化关键是双方的实验都能涨点。作者提出 “相对惊喜度” 指标来同时刻画 token 的不确定性与梯度影响发现这一争论并非矛盾而是互补通过 RSI 筛选概率适中的区间同时获取双方优势实现更好效果论文标题Which Tokens Matter? Adaptive Token Selection for RLVR with the Relative Surprisal Index论文地址https://arxiv.org/abs/2606.31575作者背景阿里巴巴 ModelScope 团队、上海交通大学一、动机RLVR 已成为大模型学推理的主流范式GRPO 是其中最常用的算法把整条回答中每个 token 一视同仁地拿去更新近期研究表明不是每个 token 都值得训练。只在某些重点 token 上或者避开某些低质 token能够得到更好的效果。但令人困惑的是这些研究结论似乎存在冲突有的研究认为高熵位置的 token 是关键应该只训它们而有的研究认为低概率词过度主导了模型更新阻碍了其他关键词的有效学习方向代表主张手段熵派Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning只有 ~20% 高熵位置承载了大部分学习信号应只练它们按熵排序、保留 top-20%概率派Do Not Let Low-Probability Tokens Over-Dominate in RL for LLMs低概率 token 会引发过大梯度干扰训练降权/屏蔽低概率 token尽管这里 “高熵” 与 “低概率” 并不完全等价前者衡量模型在这个位置有多犹豫不管最终选了哪个词后者反映最终选择有多 “意外”但它们是高度相关的一派要重点训练的正是另一派要压制的同一批词戏剧性的是两派在实验上都涨了分二、解决方法2.1 相对惊喜度 RSI作者的思路是得有一个指标把熵和概率这两件事捏到一起来看。于是定义了相对惊喜度Relative Surprisal Index被选 token 的 log 概率与分布平均 log 概率之差再除以熵做归一化R S I t 1 log π θ ( o t ∣ q , o t ) H t \mathrm{RSI}_t 1 \frac{\log \pi_\theta(o_t|q,o_{t})}{\mathcal{H}_t}RSIt1Htlogπθ(ot∣q,ot)直觉上RSI 衡量的是被选中的这个词相对其所在分布的平均水平到底有多让人意外RSI ∈ (−∞, 1]RSI 0该 token 比分布均值更容易出现低惊异RSI 0该 token 比均值更意外高惊异值得注意的是RSI 并非简单的启发式设计作者做了严格的数学推理证明了它在梯度-熵关系中的精确角色d log T t d log H t 1 R S I t , T t l o g π θ ( o t ∣ q , o t ) \frac{d\log \mathcal{T}_t}{d\log \mathcal{H}_t} \frac{1}{\mathrm{RSI}_t}, \mathcal{T}_tlog \pi_\theta(o_t|q,o_{t})dlogHtdlogTtRSIt1,Ttlogπθ(ot∣q,ot)H t \mathcal{H}_tHt位置t tt的熵衡量模型此刻有多不确定T t \mathcal{T}_tTt被选 token 的 log 概率对 logits 的梯度 ℓ₂ 范数d log(·) 表示 “相对变化率”上述公式意为熵每变动 1%梯度范数就相应变动 1/RSI即 RSI 就是 “不确定性熵” 与 “梯度幅度” 之间的兑换汇率它把熵派盯着的熵、和概率派盯着的梯度大小用一个比值锁在了一起实证发现绝大多数 token 的 RSI 集中在 1 附近 —— 真正让模型惊讶的是少数2.2 token 筛选有了 RSI 这一新指标我们就能更全面地挑选更合适的 token 做 RL方法非常简洁只保留 RSI 落在某个非对称区间 [a, b]a 0 b, |a| b内的参与梯度更新上界 b低惊异 token太好猜、信息量低下界 a极端高惊异 token太意外、梯度不稳中间段既有信息又稳定的 token注意在 RSI 指标上应用上下界并不是简单地框了一个概率固定阈值。如果把 RSI ∈ [a, b] 换算回概率域后允许的概率范围是e ( a − 1 ) H t ≤ π θ ( o t ) ≤ e ( b − 1 ) H t e^{(a-1)\mathcal{H}_t} \leq \pi_\theta(o_t) \leq e^{(b-1)\mathcal{H}_t}e(a−1)Ht≤πθ(ot)≤e(b−1)Ht这意味着每个位置的允许概率区间会随该位置的熵自动伸缩熵大的位置放得宽熵小的位置收得紧。这是一种熵自适应的门控机制实验选用的超参1.5B 用 [−6, 0.95]3B 用 [−6, 0.9]7B 用 [−6, 0.8]三、实验结果3.1 基准测试使用 EasyR1 做分布式训练仅使用 base 模型Qwen2.5-1.5/3/7B做实验干净地对比 RL 效果采用 DAPO-MATH-17K 作为主要训练集在AIME、AMC 基准2024-2026上测试评测指标为独立采样 32 次的平均准确率对照组就是上述两个流派代表分别提出高熵词优先、低概率词抑制方法记为熵基准EB和 概率基准PBEB保留熵最高的 20% token 计算 GRPO 损失PB根据 token 概率对梯度做线形缩放、单独处理低概率 token 避免其主导梯度两个基准的平均分统计如下模型GRPO EB PB RSI-SQwen2.5-1.5B12.1511.6411.8314.25Qwen2.5-3B18.5317.8618.3221.83Qwen2.5-7B29.0529.8828.8731.24值得注意的是EB熵派和 PB概率派在 1.5B 和 3B 上均未超过原始 GRPO只有 EB 在 7B 上取得了微弱正增益0.83。而 RSI-S 在所有规模上都稳定正增益且生成长度更短平均减少 100–265 token3.2 消融对比静态概率阈值以 3B 为例固定概率区间 P1[0.1, 0.9] / P2[0.2, 0.8] / P3[0.3, 0.7] 都不如 GRPO 基线下降 2–3 分证实 RSI 的增益来自熵自适应性而非简单的概率截断上下界缺一不可去掉上界RSI-SU, [-6, 1]→ 0.61去掉下界RSI-SL, [-∞, 0.9]→ −0.08。完整双界 → 3.30。两个界分别对应两派的核心主张上界对标 “高熵派的重点训练”下界对标 “概率派的稳定性约束”3.3 规模化影响最优上界 b 随模型变大而下降1.5B→0.953B→0.97B→0.8。小模型需要更多低惊异 token 做巩固大模型探索能力更强太好猜的 token 对它价值更低3.4 RL-critical token 覆盖率用 JS 散度找出 RL 前后分布变化最大的 token高 JS 被训练真正改动过的关键词RSI 的覆盖率显著高于纯熵筛选且在不同 JS 阈值下波动极小四、局限区间 [a, b] 的最优值随模型规模变化未给出自动选取策略实验仅在数学推理AIME/AMC上验证未扩展到代码、自然语言推理等任务计算 RSI 需要在每个 token 位置计算完整的熵遍历词表有一定额外开销五、启发当看到同一领域里两种明显对立的做法都有效时别急着站队。很可能两者各自只抓住了现象的一个侧面背后隐藏着一个被忽略的量能够把它们统一起来
