最近做强化学习的圈子被一份长文综述刷屏了。6 月 22 日Netflix 资深研究科学家、深度学习博士 Cameron Wolfe 在他 7.2 万订阅的通讯《Deep (Learning) Focus》上发布万字长文《Agentic RL: Frameworks and Best Practices》把智能体强化学习Agentic RL下称「智能体 RL」方向最重要的六个训练框架一口气梳理了一遍。几乎同一时期智谱在 GLM-5.2 的官方博客里披露了一个耐人寻味的技术决定为了长程任务他们放弃了当红的 GRPO改回了更「古典」的 PPO。一边是研究者密集产出训练框架一边是头部大模型悄悄换算法。两件事指向同一个事实强化学习的主战场正在从「单轮做题」转向「多轮干活」。而这份综述里还埋着一个更刺激的数据经过智能体 RL 训练的 Qwen2.5 系列开源模型——甚至小到 3B——在多项智能体任务的平均通过率上超过了 GPT-5、Claude-Sonnet-4 等一线闭源模型。小模型凭什么训练一个会用工具、能跑长任务的智能体和训练一个会做题的推理模型差别到底在哪这篇文章我们把综述拆开讲透。一、简单回顾智能体到底是什么别被花哨定义唬住。Wolfe 在综述里采用了知名博主 Simon Willison 式的极简说法智能体就是在一个循环里跑的 LLM——靠工具和自己的推理能力去解决复杂问题。拆开看一个智能体系统只有四块积木LLM 主干LLM Backbone负责思考和生成的模型本体最好是推理模型——长程任务要求它会拆解问题、会自我反思、能从错误里爬出来指令Instructions任务说明、领域知识、解题策略。写得太细会脆、难维护写得太粗又管不住行为要在简洁和具体之间找平衡工具ToolsAPI、命令行、MCP 服务……模型伸向外部世界的手环境Environment有状态的外部世界——文件系统、数据库、网页。工具调用会改变它它的反馈又会流回模型。这四块积木装进一个智能体循环Agentic Loop模型生成输出 → 执行工具调用 → 环境返回观察 → 检查终止条件没完成就回到第一步。图片以 Qwen3 为例工具调用直接编码在 token 流里模型生成tool_call片段就触发暂停、解析执行结果包进tool_response塞回上下文模型接着往下想。成熟的框架还会配上上下文管理长任务做压缩、截断冗长报错和记忆系统但核心永远是那个循环。智能体不是一个更大的模型而是一个跑在循环里的模型。二、换上数学镜头单轮和多轮差的不止一个「轮」流程上两种 RL 训练长得一样先采样一批 rollout对同一道题采多条完整轨迹再用这批数据更新模型权重如此往复。真正的分水岭在采样这一步。用马尔可夫决策过程MDP的语言对比五个要素几乎全变了。图片单轮 RL 里状态就是当前的 token 上下文动作是选下一个 token转移是确定性的「往后拼」奖励通常只在结尾给一次。多轮智能体 RL 里状态变成了联合状态模型看得见的上下文加上模型看不见、却会被它改变的环境状态。转移也不再确定——工具超时、网页加载失败都可能发生。奖励除了终局的结果奖励还常常混入步骤级的过程奖励。轨迹也从一串 token变成多轮交互全记录。这带来两个残酷的工程后果。其一每条 rollout 都要一座「独立小世界」。智能体的动作会改环境GRPO 一道题要采一组轨迹不隔离就会互相污染。所以每条轨迹都得配一个独立环境实例通常用 Docker 一类沙箱实现。其二rollout 时长方差巨大同步训练必然「饿死」GPU。有的轨迹三轮结束有的三十轮还在跑。于是主流方案都是异步 RL 加训推分离架构推理引擎不停产轨迹训练引擎攒够就更新。一句话单轮 RL 是算法问题多轮 RL 是算法问题加系统问题。三、六个框架其实在解四道难题综述覆盖了六个代表性框架ToRL、AgentGym-RL、Agent-R1、AgentRL、AutoForge、RAGEN及续作 RAGEN-2。逐篇讲太散——放在一起看它们其实在回答同样四个问题。图片难题①多轮轨迹到底怎么存单轮时代一条轨迹就是一串 token。多轮时代轨迹里混着指令、模型输出、工具调用、环境观察、步骤奖励——存成平铺 token 序列会丢掉步骤边界存成消息列表训练时重拼提示、重新分词又会产生 Agent-R1 团队命名的重分词漂移Retokenization Drift分词不可逆采样时的 token 和训练时的 token 对不上。Agent-R1 的解法是步级轨迹以「一次交互」为单位结构化存储——当前状态、动作原始 token、环境反馈、该步奖励边界显式、token 原样保留。好处不止对齐有了步级结构上下文怎么拼就成了可实验的自由变量。他们在 GSM8K 环境上试了三种策略——全量追加、滑动窗口、LLM 摘要——结果滑动窗口最好。上下文不是留得越多越好「少即是多」在这里是实验结论。配套的还有一个几乎所有框架都在用的细节动作掩码Action Mask——损失只算模型自己生成的 token指令和环境返回的内容一律屏蔽不能让模型「学着去预测」工具输出。难题②环境怎么规模化一次更新动辄上千条并发 rollout每条一个隔离环境——启动、执行、销毁任何一环变慢整个训练就堵死。DeepSWE 团队的经历很有画面感每轮迭代并行拉起 512 个 Docker 容器直接把 Docker 的 API server 打挂、守护进程崩溃最后被迫把环境调度接进 KubernetesK8s让编排层把容器摊到一整个节点池上。AgentRL 则把这套做法系统化每个环境容器化为隔离执行单元由中央控制器统一调度上千个并发实例对上层暴露统一的函数调用式接口新环境按同一套生命周期规范即插即用。AgentGym-RL 走的是类似路线——每个环境是独立 HTTP 服务还顺手把 WebArena 从「一进程一浏览器」改造成单服务器管多个 Chromium 实例。异步的副作用是数据会「变陈」。AgentRL 的对策朴素有效完成的轨迹进一个有上限的队列每次更新把队列抽干保证训练数据尽量贴近最新策略。难题③训练环境和任务从哪来真实环境加可靠标注又贵又慢这是智能体 RL 最硬的瓶颈。AutoForge 的答案是从工具文档出发自动合成环境和任务——细节放到第五节的案例里展开。选题同样讲究。ToRL 用 LIMR 方法追踪每道题在训练过程中的奖励轨迹优先选「模型此刻正好学得会」的题而不是最难或随机的题。难题④训练怎么才能不崩多轮 RL 的崩法花样繁多。RAGEN 团队给最典型的一种起了名字回声陷阱Echo Trap——模型在自己生成的轨迹上反复训练过度强化早期尝到甜头的推理套路行为多样性坍缩。三个报警信号训练奖励见顶回落、组内奖励方差和输出熵骤降、梯度范数突然尖峰。解药是一套组合拳StarPO-S去掉 KL 正则松绑探索、用 DAPO 的 Clip-Higher 防熵坍缩再做奖励方差选题——按奖励标准差降序挑任务。方差大意味着模型对这道题「有对有错」恰恰是信号量最足的题。续作 RAGEN-2 更进一步光看熵不够模型可能对每个输入都输出「看似多样、实则与输入无关」的固定模板这叫模板坍缩Template Collapse得用互信息类指标诊断再按信噪比过滤低信号任务保留率 0.9。AgentGym-RL 贡献了另一味药课程学习。他们发现一上来就给 10 轮交互预算性能先涨后崩改成 ScalingInter-RL——交互轮数按 8→12→15 分三阶段每阶段 80 步逐步放开——先在短任务上打牢基本功再解锁长程规划训练稳得多。回报也实在7B 模型在网页搜索和深度研究任务上分别拿到 26% 和 38.25% 的成功率超过 GPT-4o 和参数量十倍于它的开源模型。多任务混训还有一个坑不同环境的奖励尺度不同谁数值大谁主导梯度。AgentRL 的任务级优势归一化、AutoForge 的 ERPO环境级优势估计是同一思路把归一化范围从「同题一组」拉宽到「同任务、同环境的全部轨迹」不让任何单一任务绑架更新方向。四、工业界的交叉印证学术框架之外几条工业界的一手信息和四道难题严丝合缝地对上了。最重的一条来自 GLM-5.2。智谱解释放弃 GRPO 的原因大意是长程任务的执行轨迹极长一旦被上下文压缩切成多段子轨迹同一道题下不同 rollout 的可训练片段数量和长度差异巨大GRPO 赖以生存的组内相对比较就失效了——于是转向基于 critic 的 PPO从单条轨迹直接估计 token 级优势。这正是难题①轨迹表示和难题④训练稳定在超长任务下的极端形态。Anthropic 在长程智能体实践里的教训则呼应了课程思想。他们发现智能体「总想一口气把整个应用写完」最终解法是让它小步快跑、按功能推进并在每个会话结束时把环境收拾干净。这与 ScalingInter-RL「先短后长」的设计不谋而合——无论训练还是推理长程任务都得拆着来。还有一个反直觉实验来自 ToRL给「跑不通的代码」加 -0.5 的惩罚性能不升反降——惩罚让模型写代码变得畏手畏脚。过程奖励是把双刃剑加之前先想清楚它会不会教坏模型。同一项工作里也有正面观察训练中模型用代码解题的比例从 40% 一路涨到 80%好的工具使用习惯确实能被 RL 教出来。五、落地长什么样一条合成任务的「出厂记录」难题③里的 AutoForge 值得单讲一个例子因为它把「环境即数据」做到了极致。假设手头只有一份项目管理工具的 API 文档流水线这样跑第一步生成环境。让 LLM 读文档生成键值对形式的状态空间projects 表、users 表……和每个工具的 Python 实现create_project、delete_project、get_project_id_by_name 各就各位第二步构建任务。让 LLM 按「谁的输出是谁的输入」把工具连成有向图在图上随机游走采出工具序列多条序列合并去重再插入「此处需要模型推理」的思考节点织成一张任务 DAG第三步实例化。给状态填上具体值把 DAG 翻译成任务意图和用户口吻的提问——「你好Auro 项目我不需要了帮我删掉另外新建一个叫 Lumina 的项目」——最后把标准工具序列真的在环境里执行一遍得到黄金终态。训练时再加一个模拟用户智能体由它发起任务、回答追问、判断需求是否满足。奖励规则干脆利落——终局环境状态与黄金终态完全一致记 1 分否则 0 分。为什么盯终态而不盯过程因为条条大路通罗马不同的工具调用顺序可能都是对的。用这条流水线团队合成了 10 个环境、共 1078 个任务合成用 Qwen3-235B 级别模型拿去训练 Qwen3-30B。结果不只在 τ-Bench、VitaBench 这类同域基准上涨分——在换了提示格式、换了全新工具、甚至从英文换成中文评测的 AceBench-zh 上模型依然有提升。回头映射一下环境合成解决难题③模拟用户与「交错思考」每一步的思考痕迹全程保留实验证明明显涨分优化了难题①的轨迹质量剔除「模拟用户自己犯错」的轨迹、环境级优势估计则服务于难题④的稳定性。一个案例四道难题全走了一遍。六、七条能直接抄的实战清单把综述里被反复验证的做法拧干是这七条1. 动作掩码是底线只对模型自己生成的 token 计算策略梯度。进阶玩法Echo、PaW 等新工作环境 token 别浪费改用 SFT 目标去学——相当于顺手学了个世界模型2. 优势归一化拉宽口径从「同题一组」扩到「同任务全部轨迹」多任务混训不打架3. rollout 异步化、训推分离数据队列设上限、每步抽干控制数据陈旧度4. 环境容器化编排交给 K8s本地 Docker 扛不住上千并发5. 交互轮数按课程表放开先短后长8→12→15别让模型一上来就跑马拉松6. 用奖励方差挑任务全对全错的题没信号有对有错的题才值得训7. 上下文管理当超参调全量追加、滑动窗口、LLM 摘要各试一遍别默认「都留着」。图片写在最后看完这份综述最大的感受是智能体 RL 的竞争正在从「调一个损失函数」变成「运营一座训练工厂」。算法差异当然存在——GRPO、PPO、REINFORCE 在不同环境里各有胜负——但真正拉开差距的是轨迹存储的严谨度、环境编排的吞吐量、任务合成的流水线、训练崩溃的预警系统。这些东西没有一个会出现在论文的公式区却决定了同一套算法是起飞还是崩盘。这也回答了开头的问题3B、7B 的小模型为什么能在智能体任务上反超顶级闭源模型因为在这类任务上决定上限的不再只是参数量而是模型有没有在足够真实、足够多样、足够稳定的循环里被训练过。环境正在成为新的数据训练基础设施正在成为新的护城河。你觉得下一个被「环境 RL」重塑的领域会是什么——代码、办公自动化还是科研本身学习资源推荐如果你想更深入地学习大模型以下是一些非常有价值的学习资源这些资源将帮助你从不同角度学习大模型提升你的实践能力。一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能​因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示​因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。