ExpRL: Exploratory RL for LLM Mid-Training——用于LLM中期训练的探索性强化学习 一、研究背景与核心问题研究动机稀疏奖励强化学习RL已成为提升LLM推理能力的标准工具但其成功严重依赖于基础模型在RL开始前对有用推理路径的覆盖度coverage。如果基础模型对正确推理路径赋予的概率极低稀疏的最终答案奖励将提供很少的学习信号RL主要强化模型已经能很好采样的行为导致探索不足。核心瓶颈初始化是扩展基于RL推理的主要障碍。传统方法通过SFT在精选推理轨迹上进行中期训练来预热模型但这种方法需要手动指定学习内容且对于需要组合多种技能的难题效果有限。二、提出的方法ExpRL2.1 核心理念ExpRLExploratory RL是一种基于RL的中期训练方法使用大规模人工编写的问答数据但不将参考解答作为模仿目标而是将其作为奖励支架reward scaffolds参考解答对策略隐藏仅用于构建问题特定的评分标准策略从原始问题提示中采样保留在线策略探索LLM评判员将采样轨迹与参考比较分配密集奖励2.2 两种奖励变体变体奖励方式特点ExpRL-Outcome对整个展开分配密集的结果级分数为部分正确的解决方案提供分级反馈区分不同质量的失败展开ExpRL-Process对中间前缀分配密集的过程级奖励通过片段级优势函数式2实现局部信用分配鼓励早期有利决策过程奖励的优势设计片段优势 当前前缀分数 - 前一个前缀分数t1时第一片段优势 s₁ - s_T防止第一步主导更新只有改善与参考对齐的片段才获得正奖励2.3 训练流程阶段IRL预热使用ExpRL在中期训练集上优化策略最大化带KL正则化的密集奖励目标式3阶段II下游RL从预热后的策略初始化使用标准的稀疏二元最终答案奖励进行GRPO训练三、实验设置3.1 基础配置策略模型Qwen3-4B-Instruct评判员相同模型主实验较小模型扩展实验数据集InT POPE 中的难题-参考答案对训练阶段I 230步阶段II 500步每提示10个展开温度0.8最大长度16,384 tokens3.2 对比基线SFT在参考解决方案上监督微调稀疏GRPO仅使用二元最终答案奖励的标准RL自蒸馏以参考条件基础模型为教师训练学生模型的展开3.3 评估基准AIME 2025、AIME 2026HMMT2025年11月IMO-AnswerBench四、主要发现发现1ExpRL为下游RL产生更强的初始化方法AIME25AIME26HMMTIMO Answer基础模型46.4651.4040.6031.37SFT26.6230.2620.0921.80GRPO55.9958.7542.9135.28自蒸馏55.5958.4146.0835.18ExpRL-Outcome59.0761.7449.1137.85ExpRL-Process58.0863.4148.1335.73ExpRL变体在阶段II RL后整体优于所有基线AIME-26上ExpRL-Process达到63%比GRPO58.75%高出4.25个百分点证明参考信息用于评分比用于模仿更有效发现2ExpRL在下游RL之前就已经改善了策略阶段I后ExpRL在保留基准上同时提高了pass1和passkpassk提升表明概率质量向更可能成功的推理路径转移阶段II的提升源于更好的初始化而非仅仅是额外优化训练动态显示稀疏GRPO的熵崩溃最快解锁的提示最少ExpRL保持更高熵ExpRL-Process解锁可解决提示最快发现3ExpRL改变推理行为相对于基础模型行为分析使用LLM注释器分类显示ExpRL增加了验证、自我修正、回溯等搜索导向行为SFT丢失了验证行为稀疏GRPO的行为变化较小自蒸馏也增加了搜索行为但下游性能较弱说明需要双重覆盖行为的覆盖度有助于测试时扩展计算问题特定知识和有效解决路径的覆盖度发现4ExpRL扩展到混合领域和更小评判员混合领域实验8B策略 4B评判员数据集4,001个示例数学科学QA编程ExpRL-Outcome在所有领域的pass1上改进基础8B模型在数学汇总和STEM汇总上取得最强阶段I结果证明ExpRL不仅学习数学模板能扩展到更广泛推理混合编程领域的例外编程任务中执行提供的环境反馈很强参考引导相对较弱校准实验显示编程中无参考评判与参考评判可靠性相当说明ExpRL适合中间推理可比较的领域当有强环境奖励时应直接使用评判员校准正确参考条件给出最低误置率4B评判员约11-19%无参考或错误参考显著降低判别能力0.6B评判员不稳定 →需要最小能力阈值但4B评判员可为8B策略提供有用信号评判员无需比策略大五、方法优势与机制5.1 为什么ExpRL有效方面ExpRL对比方法监督信号密集、分级SFT/蒸馏令牌级目标可能过远策略来源在线策略采样SFT离线分布不匹配目标奖励局部进展稀疏RL仅奖励最终正确性KL距离保持在可达到的KL球内自蒸馏教师初始KL距离很大覆盖度扩展搜索行为和解决路径GRPO模式寻求缩小探索5.2 验证-生成差距的利用LLM在根据参考验证局部进展方面强于从头生成正确解决方案ExpRL利用这个差距将奖励生成转化为支架式验证任务即使在正确展开罕见时也能提供有用信号六、局限性与未来方向局限性需要参考解决方案作为辅助信息并非所有领域都可用编程领域效果较弱环境反馈更直接有效过程奖励与长度截断的交互可能导致步骤分隔符崩溃评判员需要最小能力0.6B模型不稳定未来方向自然语言反馈不仅输出标量分数还提供哪些步骤缺失/错误的语言描述前缀条件生成结合多样化的推理前缀采样扩展覆盖度奖励校准系统研究探索长度归一化、评判员设计以保持稳定性七、核心贡献总结新范式将参考解决方案从模仿目标转变为奖励支架用于RL预热方法创新提出结果级和过程级两种密集奖励机制特别是片段级优势函数的设计实证验证在数学推理基准上ExpRL在阶段I和阶段II均优于SFT、稀疏GRPO和自蒸馏扩展性展示ExpRL可扩展到混合领域且评判员可小于策略模型机制分析通过行为分析和训练动态揭示ExpRL通过保持探索熵、增加搜索行为和避免偏离策略过远来改善覆盖度这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示官方项目地址在这里如下所示图 1探索性强化学习ExpRL。1在难题上由于基础 LLM 缺乏解决难题所需的多样化解决方案的覆盖度我们无法在高正确率稀疏奖励下取得好成绩。2为了建立覆盖度我们使用我们的方法——探索性强化学习ExpRL对基础 LLM 进行中期训练。具体来说我们利用非结构化的辅助信息难题的参考解答通过 ExpRL-结果奖励和 ExpRL-过程奖励对基础 LLM 取得的局部进展给予奖励这些奖励由 LLM 评判员给出并基于这些奖励运行强化学习。3ExpRL 能够达到非平凡的最终答案正确率由稀疏的结果级正确性衡量这使其成为后续稀疏奖励强化学习的一个良好预热初始化。摘要稀疏奖励强化学习RL已成为提升 LLM 推理能力的标准工具但其成功与否关键取决于基础模型中存在的覆盖度。在实践中模型通常通过中期训练mid-training在精选的推理轨迹上进行预热这些轨迹教授诸如分解、验证或自我修正等有用的基础技能。尽管有效但这种策略需要手动指定模型应学习的内容并且尚不清楚对于更困难的问题这种基础技能的覆盖度是否足够因为这些问题需要将这些技能组合成更广泛的解决策略。我们研究了一种更自动化的方法基于 RL 的中期训练使用大规模的人工编写的问答数据。与将参考解答视为模仿目标不同我们的方法 ExpRL 将它们用作奖励支架reward scaffolds参考解答对策略隐藏仅用于构建针对特定问题的评分标准以评判策略生成的推理轨迹。策略从原始问题提示中采样而 LLM 评判员将采样的推理轨迹与参考解答进行比较并分配结果级或过程级的密集奖励。这使得 ExpRL 能够强化局部进展、有用的中间化简和富有成效的推理行为而稀疏的最终答案奖励往往无法对这些行为给予足够的权重。在具有挑战性的数学推理任务上ExpRL 产生的 RL 预热效果优于 SFT、稀疏奖励 GRPO 和自蒸馏并为后续的稀疏奖励 RL 提供了更好的初始化。额外的混合领域实验进一步表明ExpRL 的适用性可能超出原始的纯数学设置。1. 引言强化学习RL已成为提升大型语言模型LLMs推理能力的标准工具。然而其成功与否关键取决于 RL 开始前基础模型中存在的覆盖度coverage。如果在 RL 开始前基础模型对有用的推理路径赋予的概率非常低那么即使进行多次采样尝试也可能产生很少的正确或部分正确的轨迹。在这种机制下稀疏的最终答案奖励提供的学习信号很少RL 主要强化模型已经能很好采样的行为。因此初始化是扩展基于 RL 推理的一个核心瓶颈。中期训练的目标是在稀疏奖励 RL 之前改善这个初始分布。在操作上我们希望模型在各种难题上将更多的概率质量放在富有成效的推理尝试上以便 passk 得到改善并且后续的 RL 有更多有用的轨迹可供强化。这种覆盖度既由基础的推理技能如分解、验证、回溯和自我修正[4]塑造也由模型将这些技能组合成更广泛解题技术的能力塑造。例如知道如何检查局部计算并不意味着模型能够为困难的组合问题识别出正确的分情况讨论并执行到底。我们的目标是建立这种更广泛的覆盖度不仅仅是在中期训练分布上提高正确率而是增加那些使后续稀疏奖励 RL 更有效的富有成效推理路径的权重。在操作上我们将 passk 视为这种覆盖度的一个可观察代理指标。如果一个策略为某个问题的至少一条完整且富有成效的推理路径分配了非平凡的概率质量那么重复采样最终应该能发现一个正确的展开rollout。因此passk 的提高表明中期训练已经扩展了模型可以采样的解决策略集即使 pass1 仍然有限。在这项工作中我们研究如何使用参考解答进行基于 RL 的中期训练而不是基于模仿的中期训练。当这些参考解答可用时一个自然的基线是将它们转换为有监督的问题-解答轨迹并对模型进行微调以模仿它们。然而直接克隆那些依赖于基础模型不太可能生成的解决方案的轨迹可能会扰乱其推理能力[9, 21]。在参考解答设置中的另一个基线是如[7]中探讨的在线策略自蒸馏。这通过训练模型自身的展开来减少来自 SFT 的离线策略不匹配但监督信号仍然来自特权教师privileged teacher诱导的令牌级目标。当这个目标分布与学生模型能够可靠生成的结果相差甚远时这种监督可能会损害泛化能力[10]。因此当参考解答可用时模仿和蒸馏是自然的基线但它们可能是扩展对富有成效推理路径覆盖度的有限机制。因此我们提出了探索性强化学习ExpRL一种基于 RL 的中期训练方法它使用参考解答为在线策略推理轨迹提供密集奖励。ExpRL 不将参考解答作为演示或提示暴露出来而是将其用作奖励支架它帮助评判员构建一个针对特定问题的评分标准用于评估智能体在线策略展开的局部进展。由于策略仅从原始问题提示中采样这保留了在线策略探索同时提供了比典型的稀疏结果级正确性奖励更丰富的反馈。具体来说ExpRL 通过将每个在线策略展开与同一问题的参考解答进行比较为其分配一个局部进展分数。我们研究了两种变体ExpRL-Outcome 为完整的展开分配密集的结果级奖励。ExpRL-Process 为中间前缀prefixes分配密集奖励为局部进展提供即时信用分配。即使模型尚未完全解决问题这些奖励也能强化有前景的分解、正确的中间化简或有用的解题结构。通过这种方式参考解答帮助 RL 提高富有成效推理路径的权重而无需将参考作为目标轨迹或预言机前缀暴露给智能体。我们在一个具有挑战性的、基于答案的数学推理的 RL 预热设置中评估 ExpRL。我们将其与 SFT、稀疏奖励 GRPO 和自蒸馏进行比较。ExpRL 产生了一个更强的阶段 I 策略并为后续的稀疏奖励 RL 提供了更好的初始化。这些提升不仅体现在 pass1 上也体现在 passk 和推理尝试的多样性上这与在富有成效的推理路径上覆盖度的提高是一致的。我们还发现 ExpRL 改变了模型的推理行为相对于基础模型增加了验证、自我修正和回溯。最后我们在更广泛的混合领域设置中测试 ExpRL并分析了参考条件评判提供可靠奖励的条件。这些结果表明ExpRL 可以作为一个使用参考答案的通用预热接口。2. 预备知识、定义与符号3. ExpRL用于 RL 预热的参考引导密集奖励在本节中我们介绍 ExpRL一个在下游稀疏结果奖励 RL 之前的基于 RL 的预热阶段。ExpRL 使用从广泛的中期训练问答对数据集中参考解答推导出的结果级或过程级的密集非二元奖励。使用这些密集奖励进行 RL 旨在拓宽对富有成效推理路径的覆盖度。阶段 I 中 pass1 和 passk 的提升可作为诊断表明预热后的策略为能够达到正确解决方案的轨迹分配了更高的概率质量。目标不是手动指定孤立的技能而是为后续的稀疏奖励 RL 强化引入更广泛的有用推理行为库。正如表 2 中基础模型Qwen3-4B-Instruct较差的 passk 所反映的那样很明显即使基础模型可能包含有用的推理行为它也缺乏对推理路径的足够覆盖度。由于人工编写的解决方案与模型自身的推理轨迹有显著差异通过离线训练如 SFT直接获得这种覆盖度是具有挑战性的[21]这促使我们采用在线策略 RL 过程。ExpRL 的设计原则。由于 ExpRL 的目标是拓宽模型的覆盖度对于中期训练数据中的问题仅对采样到的在线策略展开使用最终正确性的稀疏结果奖励是不够的。它仅指示展开是否最终达到正确答案而无法区分那些取得有用中间进展的展开和那些没有取得进展的展开。因此我们的设计原则是根据在线策略轨迹在中期训练数据中达到参考解决方案的可能性来奖励它们即使在整体轨迹不正确的情况下也使用密集奖励。只要中期训练数据集包含需要多样化推理模式的难题这个过程就应该有助于将概率质量转向更有成效的推理路径并为下游 RL 提供一个更强的初始化覆盖有用的推理路径。ExpRL 使用一个基于 LLM 的评判员来衡量与参考解决方案的相似性并通过结果级和过程级奖励来实例化这一原则我们接下来将讨论。具体方法通过密集的参考引导奖励进行 RL 预热。基于这一原则我们的方法使用参考解决方案来构建密集奖励。这样做是可行的因为现代 LLM 通常在根据参考验证局部进展方面比从头生成正确的解决方案更强。我们利用这种验证-生成差距来分配信息丰富的分数从而根据采样轨迹展现的有用进展程度对其进行排序。优化这些奖励会将概率质量转移到更可能导致最终成功的轨迹空间区域从而提高 passk更重要的是为后续的稀疏奖励 RL 建立一个更强的探索先验。下游的目标和奖励结构不变只有初始化不同。在实现中我们对阶段 1 和阶段 2 使用两个不同的在线策略 RL 流水线详见 A.1在下游 RL 期间将 ExpRL 使用的参考引导密集奖励替换为二元最终答案奖励。通过在稀疏奖励训练开始之前将概率质量转向富有成效的推理轨迹ExpRL 增加了下游 RL 在训练早期遇到信息丰富展开的可能性。总结通过探索性强化学习 ExpRL 进行中期训练ExpRL 是一种用于中期训练的在线 RL 方法它使用参考解决方案来定义密集的结果/过程奖励而不是将其作为要模仿的轨迹。通过奖励局部进展而非纯粹的正确性它将概率质量转向富有成效的推理路径为后续的稀疏奖励 RL 建立更强的覆盖度。4. 实验我们实验的目标是评估 ExpRL 在改进基础模型以用于后续 RL 训练方面的有效性。为此我们在一个具有挑战性的数学问答对数据集上运行 ExpRL该数据集的基础模型在 64 次独立采样每次有 32k 令牌的响应预算下无法解决。我们在相同数据上将 ExpRL 与替代的中期训练程序进行比较然后从每个得到的初始化运行阶段 II 稀疏奖励 RL并在保留的数学基准上进行评估。接下来我们描述我们的设置然后展示结果。4.1. 设置数据集、评估协议和训练超参数用于 ExpRL 的基础模型、评判员和训练数据集。我们使用 Qwen3-4B-Instruct-2507 作为策略主干简称 Qwen3-4B-Instruct。该模型被训练为直接在思维链中生成推理轨迹无需 “think” 块。我们使用一个基于相同 Qwen3-4B-Instruct 模型的 LLM 评判员来生成密集奖励类似于 Yang 等人 [21]。在主要实验中我们使用基础模型的一个副本作为评判员第 4.6 节表明当较小的参考条件评判员为较大的策略提供奖励时ExpRL 也能工作。我们通过 REINFORCE 训练模型以优化方程 3。更具体地说稀疏奖励基线和阶段 II 使用 GRPO 风格的组归一化。ExpRL-Outcome 使用 GRPO 风格的归一化奖励更新。ExpRL-Process 使用 REINFORCE 风格的令牌/片段优势无需组归一化。对于提示我们使用了一个结合了近期工作 InT [21] 和 POPE [12] 中的难题和参考答案对的数据集。基准。我们考虑了四个标准的、保留的基于答案的推理基准HMMT2025 年 11 月、IMO-AnswerBench [11]、AIME 2025 和 AIME 2026。我们每个问题采样 128 个响应来计算评估指标。在所有情况下我们都会评估使用 ExpRL 训练后获得的基础模型初始化以及下游 RL 训练后获得的模型。4.2. 基线与比较我们将 ExpRL 与几种方法进行比较包括 (1) SFT在中期训练集中的参考解决方案上进行监督微调而不是运行 RL 进行中期训练(2) 可验证的稀疏奖励 RL仅使用基于规则验证器的二元最终答案奖励在中期训练提示上进行标准 GRPO没有任何密集的参考引导反馈以及 (3) 自蒸馏一种基于蒸馏的基线其中采样的展开针对更丰富的自教师进行训练具体来说我们按照 Hübottter 等人 [7] 使用以参考解决方案为条件的基础模型作为教师。我们将这些基线与 ExpRL 的两种变体进行比较a) ExpRL-Outcome它为完整的展开分配密集的终端奖励以及 b) ExpRL-Process它为部分展开和前缀分配密集奖励。关键区别在于蒸馏基线使用参考信息来定义令牌级目标而 ExpRL 使用相同的信息仅对采样的推理轨迹进行评分并在后续稀疏奖励 RL 之前塑造模型的探索先验。我们将比较重点放在那些在预热阶段使用参考信息同时保持下游稀疏奖励 RL 不变的方法上。诸如 POPE [12] 之类的前缀引导方法研究了一个互补的设置它们通过在下游 RL 期间暴露预言机前缀来引导探索。相比之下ExpRL 仅在预热期间使用参考来构建奖励并且原则上可以与前缀引导的探索相结合。表 1在下游稀疏奖励 RL 之后基于答案的基准上的 Pass1。模型使用不同的 RL 预热方法进行初始化然后使用相同的阶段 II RL 设置继续训练但 Qwen3-4B-Instruct 作为原始基础模型除外。总体而言ExpRL 获得了最强的基于答案的整体性能。4.3. 发现 1ExpRL 为下游 RL 产生更强的初始化我们的主要问题是与基于模仿或仅稀疏奖励的替代方案相比ExpRL 中的密集奖励能否为下游稀疏奖励 RL 产生更好的初始化。表 1 显示答案确实是肯定的。在经过一轮标准稀疏奖励 RL 之后我们观察到 ExpRL 变体在保留的基于答案的基准上整体优于 SFT、稀疏 GRPO 和自蒸馏。最显著的提升出现在 AIME-2026 上ExpRL-Process 在下游 RL 后达到 63%而第二好的 GRPO 基线仅达到 58.75%。在其余的基于答案的基准上ExpRL 变体 consistently 占据表格顶部ExpRL-Outcome 在多项评估中表现最强而 ExpRL-Process 始终具有很强的竞争力。综合来看这些结果支持我们的核心主张对于 RL 预热特权参考解决方案在用于对采样的推理进行评分时比仅用作要模仿的轨迹更有效。4.4. 发现 2ExpRL 在下游 RL 之前改善了预热后的策略接下来我们研究 ExpRL 本身是否能够在运行任何下游稀疏奖励 RL 之前就已经提高了模型在 RL 预热后的性能。观察表 2 可以发现ExpRL 已经在保留的基于答案的基准上产生了更强的模型实现了更高的 pass1 和 passk并且在某些情况下如 IMO-AnswerBench它提高了 passk 覆盖度而下游稀疏奖励 RL 随后可以进一步放大这种覆盖度。作为一个代表性例子图 2 显示了在 HMMT 上的 passk 曲线两种 ExpRL 变体在较低的 k 值时都实现了更高的通过率并且 ExpRL-Process 变体即使在较高的 k 值下也特别强大其他基准的 passk 曲线见附录 A.4。这种区别对于解释下游稀疏奖励 RL 之后的提升来自上述发现 1 的结果很重要。如果 RL 预热仅仅改善了中期训练奖励那么它不一定能转化为更强的下游稀疏奖励 RL。相反ExpRL 在第二阶段甚至开始之前就提高了 pass1 和 passk这表明它产生了一个更好的、为 RL 准备好的初始化。因此表 1 中的阶段 II 改进与下游 RL 受益于更强的初始策略而不仅仅是从额外优化中受益的观点是一致的。图 2在 HMMT-Nov-2025 上使用 ExpRL 训练后的 Passk128 个样本。图 3 提供了 RL 预热期间训练动态的补充视图。稀疏奖励 RLGRPO的熵在在线方法中崩溃得最快并且在训练过程中解锁的提示最少。相比之下ExpRL 变体和自蒸馏都保持了显著更高的令牌级熵其中 ExpRL-Process 解锁可解决提示的速度最快。我们还观察到两种 ExpRL 变体内部的动态不同。ExpRL-Outcome 在后期显示出明显的熵增加而没有相应地大幅增加响应长度而 ExpRL-Process 则表现出响应长度的增加。虽然这些量本身不是优化目标但它们表明 ExpRL 不仅仅是像稀疏奖励 GRPO 那样以模式寻求的方式锐化策略而是以一种更符合在 RL 预热中建立更广泛覆盖度的方式改变了训练动态。图 4 提供了为什么自蒸馏是一个较弱的 RL 预热目标的额外原因。在自蒸馏开始时图 4 右侧教师的 KL 距离比其他在线策略方法要远得多。这意味着它从一个本质上更偏离策略的目标开始。正如先前关于偏离策略蒸馏的工作所指出的强制学习器匹配一个遥远专家分布可能导致显著的分布偏移和不稳定的优化 [8, 14]。相比之下ExpRL 在保持在基础策略更易达到的 KL 空间内提高了覆盖度。4.5. 发现 3ExpRL 相对于基础 LLM 改变了推理行为除了总体基准性能之外我们还询问 ExpRL 是否改变了模型倾向于产生的推理类型第 A.3 节。图 5 表明它确实改变了。相对于基础模型ExpRL 增加了对几种面向搜索的行为的覆盖度特别是验证、自我修正和回溯。与失去验证行为的 SFT 和行为变化较小的稀疏奖励 GRPO 相比ExpRL 更好地保留或扩展了与自适应搜索和持续中间进展相关的行为。自蒸馏提供了一个重要的对比它也增加了若干面向搜索的行为表明行为覆盖度本身并非 ExpRL 独有。然而其在阶段 I 的 pass1/passk 和下游稀疏 RL 性能在表 1 和表 2 中通常弱于 ExpRL。这表明有用的 RL 预热需要两种形式的覆盖度对有助于扩展测试时计算的行为的覆盖度以及对问题特定知识和富有成效解决路径的覆盖度。综合来看行为分析支持对 ExpRL 的主要解释参考引导的 RL 预热改变了采样轨迹的分布这种方式既增加了有用的搜索行为又提高了对富有成效解决路径的覆盖度。4.6. 发现 4ExpRL 扩展到混合领域中期训练和更小的评判员前面的实验侧重于 4B 策略并且主要是数学推理。接下来我们测试关于 ExpRL 范围的两个问题。首先参考引导的 RL 预热能否在更广泛的领域混合上改进更大的策略其次密集奖励信号是否真的与问题匹配的参考相关联还是可以通过通用的 LLM 评判员置信度来解释为了回答这些问题我们进行了额外的混合领域阶段 I 实验和评判员/参考校准压力测试。混合领域规模研究。我们构建了一个包含 4,001 个参考解答示例的阶段 I 混合数据集涵盖数学、科学问答和编程表 3。我们使用更大的 Qwen3-8B禁用思考功能策略和较小的 Qwen3-4B-Instruct 评判员进行训练。表 4 显示ExpRL-Outcome 在每项 pass① 评估包括数学、科学和编程上都改进了 8B 基础策略。在领域级汇总中ExpRL-Outcome 在数学汇总和 STEM 汇总上都是最强的阶段 I 方法无论是 pass① 还是 pass① 16。这表明参考引导的 RL 预热不仅仅是在学习数学特定的模板还可以提高在更广泛推理混合上的覆盖度。这一结果凸显了参考解决方案在 ExpRL 中的另一个作用它们使奖励生成成为一个支架式验证任务而不是开放式解决方案生成。有了与问题匹配的参考较小的 4B 评判员可以为更大的 8B 策略的在线策略轨迹提供有用的密集奖励这表明只要评判员具有足够的能力并且以参考为条件其规模不必与策略相匹配。编程是混合领域模式中的一个主要例外。ExpRL-Outcome 仍然在 LiveCodeBench 上改进了基础策略但稀疏 GRPO 仍然更强。我们认为这反映了编程任务的奖励结构执行提供了一个异常强大的领域特定稀疏奖励而参考引导的评判则不太自然地适合于分配局部进展信用。与数学或科学推理不同不完整的代码可能无法编译并且许多正确的实现可能与参考解决方案有很大差异。因此参考支架在编程中作为环境反馈的替代品比在那些可以将中间化简与参考路径进行比较的领域中要弱。图 5相对于基础模型RL 预热后的行为变化。橙色条显示预热后获得的行为蓝色条显示失去的行为红色数字表示净变化。面向搜索的行为指的是我们注释评分标准中可观察到的展开特征例如验证、自我修正、探索、重新开始和回溯。ExpRL 在若干此类行为上产生了净收益这表明参考引导的 RL 预热改变了采样轨迹的分布而不仅仅是提高了最终正确性。表 3混合领域阶段 I 数据。额外的 8B 实验使用了来自数学、科学问答和编程的参考解答示例。这与校准结果表 6一致在 LiveCodeBench 上无参考评判与参考条件评判的可靠性大致相当这表明评判员主要依赖功能正确性而非参考解决方案支架。因此编程结果与我们将 ExpRL 视为阶段 I RL 预热可以改进初始策略的观点一致但当有强大的环境奖励可用时下游 RL 应直接使用它。参考和评判员校准。接下来我们测试密集奖励信号是否真正依赖于与问题匹配的参考解决方案而不是简单地反映通用的 LLM 评判员置信度或表面上的合理性。为了区分这些可能性我们固定采样的展开并改变评判员规模和参考条件正确的、与问题匹配的参考、无参考或来自另一个问题的错误参考。我们测量误置率定义为 (FPRFNR)/2其中假阳性是将不正确的展开分配分数 3假阴性是将正确的展开分配分数 4。越低越好。表 48B 策略 4B 评判员阶段 I 结果。所有方法均在 270 步时进行评估。ExpRL-Outcome 在每项 pass1 评估上都改进了 8B 基础模型并在阶段 I 方法中给出了数学和 STEM 领域的最佳汇总结果。表 5关于 Math 和 SciKnow 的校准误置率。无参考评判较弱而错误参考评判通常会使奖励信号不可靠这在 4B、8B 和 14B 评判员中一致。0.6B 评判员不稳定这表明 ExpRL 需要一个最低限度有能力的评判员和可靠的、与问题匹配的参考。表 6关于 LiveCodeBench 的校准误置率。对于编程与问题匹配的参考解决方案并不关键因为评判员主要依赖于用输入-输出对跟踪代码。需要一个最低限度有能力的评判员。然而上面的 8B 策略实验表明评判员不必与策略一样大。总之这些结果支持了这样的观点有用的奖励信号不是通用的评判员置信度而是针对正确的、与问题匹配的参考进行验证。表 6 在 LiveCodeBench 上显示了不同的模式正确参考、无参考和错误参考评判都具有同样低的误置率其中无参考略微最佳。这表明编程评判员更多地依赖于从代码和问题规范中推断出的功能正确性而不是参考解决方案支架。这有助于解释为什么 ExpRL-Outcome 改进了编程方面的基础策略而基于执行的稀疏 GRPO 仍然特别强大。5. 相关工作与讨论RL 之前的中期训练。在现代 LLM 流程中通常有两种在 RL 运行之前预热模型的方法我们称之为中期训练。首先技能诱导的中期训练注入有用的推理行为如自我修正、回溯和验证这些行为对探索有用并可通过 RL 进一步放大 [4, 13, 19]。其次覆盖度构建的中期训练旨在增加在困难数学问题上对富有成效推理路径的覆盖度这对于具有稀疏结果奖励的困难下游任务是必要的。最近的流程依赖于 RL 之前的这些中间阶段 [16, 19, 20]并且近期工作明确地研究了这种相互作用 [24]。传统上这种覆盖度是通过对精选轨迹或拒绝采样的 SFT 来构建的。解决方案 [23]但这可能会缩小模型在 RL 期间的探索范围 [12]并且对离线数据进行训练可能导致优化不稳定 [14]。ExpRL 专注于中期训练的第二种设置而不是仅仅克隆具有正确最终答案的轨迹它使用在线策略 RL 来奖励相对于参考的有用推理行为和局部进展。同时进行的工作也探索了在中期训练阶段使用 RL 生成推理轨迹以提高生成质量 [17]我们的工作特别侧重于为稀疏奖励提供很少信号的困难推理问题建立覆盖度。LLM RL 中的探索瓶颈。稀疏奖励 RL 很有吸引力因为正确性通常可以自动验证但在正确展开很少见的难题上它会变得脆弱导致探索不足有时甚至会降低 RL 后的 passk [22, 25]。先前的工作通过内在奖励、熵正则化、基于计数的奖励、passn 感知目标和基于验证的信号 [2, 3, 5, 15, 18, 26] 以及研究早期训练阶段的作用 [24] 来改进学习信号。我们的方法相反地将探索转移到中期训练在稀疏奖励 RL 之前密集的参考引导奖励可以强化富有成效的推理路径。6. 结论我们通过富有成效推理路径覆盖度的视角研究了 LLM 推理的 RL 预热。ExpRL 使用具有密集参考引导奖励的在线策略 RL在稀疏结果奖励 RL 之前建立这种覆盖度奖励局部进展而不仅仅是最终正确性。在基于答案的数学推理基准上这产生了一个更强的、为 RL 准备好的初始化并改进了下游的稀疏奖励 RL。有几个方向可以进一步探索。首先ExpRL 目前仅使用评判员生成标量过程奖励未来的工作也可以从评判员的自然语言反馈中训练策略为模型提供关于哪些推理步骤缺失、错误或值得继续的更丰富信息。其次ExpRL 可以与后训练期间的前缀条件生成相结合其中多样化推理前缀被有意采样或构建以扩展对富有成效解决路径的覆盖度并更好地刻画该方法的探索上限。第三尽管我们探索了减少过程奖励偏差的初步策略但对奖励校准、长度归一化和评判员设计进行更系统的研究有助于在避免过度长度增长的同时保持训练稳定性。局限性。ExpRL 需要辅助信息如参考解决方案来识别中期训练期间有用技术和局部进展的存在。这可能并不总是可用尤其是在难以获得良好参考的领域。