近日上海交通大学、百度智能云、地瓜机器人D-Robotics等机构联合发布 dVLA-RL 强化学习训练框架首次打通经典 PPO 算法与「离散扩散 VLA」Discrete Diffusion Vision-Language-ActiondVLA的适配通路。该方案让离散扩散 VLA 摆脱仅能复刻人类示范的局限可依托强化学习自主交互迭代优化真正完成从「模仿人类动作」到「持续自主进化」的技术跨越。论文地址https://arxiv.org/abs/2606.236231. 性能验证单臂、双臂基准全面大幅提升dVLA-RL 在两项主流机器人仿真基准上均取得了显著成绩。在 LIBERO Benchmark 上dVLA-RL 的平均任务成功率达到 99.7%在 RoboTwin 2.0 基准测试中模型成功率从 SFT 阶段的 61.4% 提升至 92.0%绝对提升 30.6 个百分点。本篇 dVLA-RL 论文的全部实验均基于百度百舸 AI 计算平台完成。其中百度百舸团队针对 RLinf 进行的 AI Infra 工程优化大幅度提升了 dVLA 模型在强化学习阶段的训练效果。2. 从模仿到自主进化SFT 与 RL 的两步进阶对于机器人 Foundation Model 而言监督微调SFT是构建基础能力的关键阶段。通过学习大量人类示范数据模型能够快速掌握抓取、搬运等基础技能。但模仿学习终究只能复现已有经验当面对训练数据之外的新场景和复杂任务时模型能力容易达到瓶颈。强化学习RL则通过自主交互、持续试错和奖励反馈不断优化策略使机器人能够持续突破 SFT 的能力上限在未知场景和复杂长时序任务中获得更好的表现。当前自回归、连续流类 VLA 均拥有成熟的 RL 适配方案而离散扩散 VLA 一直缺少可行的强化学习路径。3. 离散扩散 VLA 的优势扩散机制带来更精细的动作控制和传统单次生成式 VLA 不同离散扩散 VLA 依托掩码多轮去噪扩散机制生成动作统一融合图像、语言、机器人动作三类离散表征。得益于多轮去噪生成机制dVLA 能够生成更加平滑连贯的动作轨迹在双臂协同、多步骤长时序操作、精细柔性操控等复杂任务中展现出更大的应用潜力也被认为是机器人 Foundation Model 值得关注的重要技术路线之一。因此如何为 dVLA 建立完整的强化学习能力也成为机器人 Foundation Model 发展的关键课题。4. 核心瓶颈离散扩散 VLA 生成过程难以直接适配 PPO然而也正因为 离散扩散 VLA 采用离散扩散逐步生成动作而非像传统 VLA 那样一次性预测动作经典 PPO 无法直接对其整个生成过程进行策略优化。原因在于dVLA 的最终动作需要经过多轮中间去噪状态逐步生成而 PPO 只能针对单次动作概率进行梯度更新。若强行计算最终动作的概率则需要穷举海量中间去噪路径计算复杂度呈指数增长在工程上几乎不可实现。5. dVLA-RL重新定义优化对象打通强化学习通路针对这一核心矛盾论文提出了 dVLA-RL。其核心思路并不是修改 PPO而是重新定义 PPO 的优化对象。dVLA-RL 将整个去噪过程视为一条完整的决策轨迹使强化学习优化的目标从最终动作扩展到整个动作生成过程从而让经典 PPO 算法得以直接用于离散扩散 VLA。相比直接优化最终动作这种方式更符合离散扩散 VLA 的生成机制为这一技术路线建立起一套贴合模型生成逻辑的强化学习训练体系。6. Hybrid Denoising Steps动态分配去噪步数兼顾性能与效率在打通 dVLA 强化学习通路的基础上论文进一步提出配套优化方案Hybrid Denoising Steps。得益于 dVLA-RL 能够在统一的强化学习框架下优化不同长度的去噪轨迹该方案可根据任务复杂度以及 SFT 阶段模型的初始表现动态选择不同的去噪步数抓取、简单放置等基础任务采用 12 步去噪以降低推理延迟双臂物体交接、长流程搬运等复杂任务则保留 4 步完整去噪以保证动作生成质量和任务成功率。论文进一步在 RoboTwin 2.0 的 8 个代表性双臂任务上对统一采用 1、2、4 步去噪以及 Hybrid 去噪策略进行了对比。实验结果显示在不降低任务成功率的前提下Hybrid Denoising Steps 将平均推理延迟由 728.92 ms 降低至 387.24 ms强化学习训练耗时由 845.95 秒缩短至 607.89 秒验证了按任务动态分配去噪步数能够兼顾模型性能与运行效率。7. 走向持续自主进化dVLA-RL 的更大意义从行业长远发展视角来看dVLA-RL 的价值远不止于将 RoboTwin 2.0 基准测试成功率提升至 92.0%。更为关键的是它首次让离散扩散 VLA 具备了强化学习能力打通了从预训练、监督微调到强化学习的完整技术链路为机器人 Foundation Model 持续自主进化奠定了技术基础。