这项由香港中文大学、中国科学技术大学、澳门大学、清华大学、浙江大学、苏州大学、布朗大学、上海交通大学等多家机构联合完成的研究于2026年7月2日以预印本形式发布在arXiv平台论文编号为arXiv:2607.02440。研究的核心成果是一个名为EvoPolicyGym的评测框架专门用来衡量AI智能体能否像人类学生一样在反复尝试和错误纠正中主动改进自己的行动策略。你有没有想过为什么很多电子游戏里的AI对手打起来总是那么死板它们掌握了固定的招式但一旦你找到破解方法就再也无法进步。而真正聪明的玩家会从失败中学习下一局换一套打法再失败再调整直到找到真正管用的策略。现在AI研究界正面临一个非常相似的挑战我们能不能建造一种AI让它不依赖人类指导完全靠自己的试错经历一遍遍地打磨和升级自己的行动方案这正是EvoPolicyGym这套训练场要解答的核心问题。一、为什么需要一个专门的自我进化训练场要理解这项研究的价值不妨把AI的成长过程比作一个厨师学艺。普通的AI评测就像只看厨师最终端出来的菜好不好吃打个分数就算了。但一个真正优秀的厨师不仅仅是做出一道好菜那么简单——他需要能从失败的菜品中读懂哪里出了问题能在有限的食材和时间里决定先试什么配方再调整什么火候还要能保证自己摸索出来的方法在面对不同食客时依然好用而不是只在一道菜上凑巧成功。现有的AI评测体系恰恰缺乏对这整个学艺过程的考察。一些测试只看最终分数完全不管AI是靠真正理解任务获得高分还是靠反复碰运气瞎蒙。另一些测试把AI扔进真实的软件工程任务里问题太复杂干扰因素太多很难搞清楚AI到底是哪里学会了什么。EvoPolicyGym的设计理念就是把这个学艺过程单独拿出来放在一个干净受控的环境里仔细研究。它给AI划定了一个固定的尝试预算让AI在预算范围内反复修改自己的行动方案每次修改后观察效果再根据效果继续调整最终由一批从未见过的新场景来检验AI真正学到了多少。这就好比给厨师规定只能购买有限量的食材用这些食材反复试验不同配方最后请一批从未见过这位厨师的挑剔食客来打分——这样才能真正衡量厨师的学习能力而不是运气。二、训练场的运作规则固定预算下的反复博弈EvoPolicyGym的运作机制从技术角度来说是一个有编码能力的AI智能体和一个沙盒游戏环境之间的反复交互过程。为了让没有技术背景的读者也能理解可以把整个过程想象成一场有严格规则的厨艺竞赛。竞赛开始时裁判也就是服务器给每位参赛厨师AI智能体发一份空白食谱模板和一批练习用食材训练集。厨师可以随时修改食谱上的内容——可以换掉整套烹饪方法也可以只调整某个配料的分量。改完之后厨师把这版食谱交给裁判裁判按这份食谱做一批菜然后把结果反馈给厨师哪些菜成功了哪些菜失败了失败的原因是什么甚至还会附上做菜过程的详细记录这对应论文中的轨迹级反馈。厨师拿到这些反馈后再次修改食谱再次提交再次获得反馈如此往复。但有一个铁律厨师总共只能让裁判做128道练习菜这就是128轮次的交互预算用完就得停。竞赛的评判方式也很有意思。裁判并不直接用练习菜的成绩来打最终分而是在厨师历次提交的食谱中用一批厨师从未见过的秘密评审菜品验证集来挑选出最好的那版食谱再用另一批完全陌生的终极考核菜品测试集来测量这版食谱的真实水平。这样设计是为了防止厨师只会在练习菜上表现好换一批新食材就完全不行。从技术实现角度来看每位参赛的AI系统由两部分组成一个大型语言模型作为大脑负责理解反馈和决定下一步怎么修改策略代码一个工具套件论文中称为harness作为手负责读写文件、运行程序和与服务器通信。策略本身是一段Python程序必须实现特定的接口规范一个初始化方法一个每轮开始时重置状态的方法以及一个根据当前观察决定下一步动作的方法。这个小程序可以包含任何内部逻辑复杂的感知模块、记忆系统、规划器甚至是学过的参数——只要能在规定时间内给出合法动作就行。三、十六关擂台涵盖控制、导航、驾驶与机械臂的游戏大全EvoPolicyGym的评测舞台被称为Core16顾名思义包含16个不同的交互环境横跨四大类别就像一个囊括了格斗、赛车、解谜和机械操作的综合游戏厅。第一类是经典控制类游戏共四个Acrobot一个需要甩动双节棍让顶端摸到高处的机械臂、MountainCarContinuous一辆需要靠摆动积攒势能才能冲上山顶的小车、BipedalWalker一个需要学会用两条腿稳定行走的机器人和CarRacing一辆需要从像素画面中读懂赛道走向的赛车。这四个任务有个特点状态信息相对简单动作空间清晰考验的是AI能否找到一套精准的控制策略。第二类是物理仿真类任务使用MuJoCo这套物理引擎同样有四个Reacher控制机械臂末端触碰目标点、HalfCheetah让一只类似猎豹的机械生物尽可能快地向前奔跑、Ant控制一只四足机器虫走路和Pusher用机械臂将物体推到目标位置。这类任务的动作空间是连续的意味着AI需要输出精确的力矩数值就像真正控制一台机器的电机一样。第三类是符号迷宫导航使用MiniGrid框架四个任务全部属于这一类DoorKey在16×16的网格迷宫里找钥匙开门到达目标、KeyCorridor、FourRooms和ObstructedMaze有箱子堵路的迷宫。这类任务的特点是AI看到的不是像素而是结构化的符号信息视野有限必须记住探索过的地方建立内部地图才能规划路径。第四类是机器人操作与自动驾驶分别有Parking停车场泊车、Roundabout环形交叉路口驾驶、FetchPush机械臂将物体推到指定位置和FetchPickAndPlace机械臂抓取物体并放到指定位置。这类任务要求AI具备更精细的几何推理能力知道如何分阶段完成复杂的操作序列。这十六个环境被刻意选择为彼此截然不同因为研究团队的核心问题之一就是优秀的AI学习者能否在完全不同类型的任务上都保持竞争力而不是只在某类擅长的任务上偶尔发挥出色这就像考察一位全能厨师不仅要会做中餐还要做西餐、日料和糕点才算是真正的高水平。四、四位选手登场顶级AI系统的正面交锋本次实验邀请了四套厨师系统参赛每套系统都由一个大型语言模型加上对应的工具套件组成。GPT-5.5搭配Codex工具套件Claude Opus 4.7、MiniMax-M3和DeepSeek-V4-Pro三个模型都搭配Claude Code工具套件运行。每套系统面对同样的十六个任务同样的128轮预算同样的评分规则完全公平竞争。为了有个参照基准研究团队还设置了一个随机乱按的参照组——在每个时刻完全随机选择动作不做任何学习。这个随机策略代表了最低下限任何一个有价值的AI系统都应该比这个强很多才算合格。最终的成绩可以从两个维度来看。第一个维度是每个任务的原始得分也就是被选中的最优策略在那批未见过的考核场景里平均拿到多少累积奖励。第二个维度是标准化排名分因为不同任务的奖励尺度完全不同——赛车游戏的分数可能是几百分停车任务可能是负几十分——直接比较毫无意义所以用排名来衡量每个系统在每个任务上相对于其他系统的表现水平再把十六个任务的排名分取平均得到最终的综合评分。从综合排名来看GPT-5.5以0.891的Core16综合分拿下第一而且更惊人的是它在全部十六个任务上都排在前两名——这意味着它没有任何明显的短板。Claude Opus 4.7以0.750的综合分排名第二夺得五项第一在十二个任务上进入前两名。MiniMax-M3拿到0.531DeepSeek-V4-Pro只有0.359而随机策略以0.109垫底。值得注意的是GPT-5.5的卓越之处不仅在于赢得最多更在于从不崩溃。其他选手都有某些任务得到很高分但某些任务却惨败的情况而GPT-5.5始终维持在顶尖水平。对于AI系统来说这种稳定性往往比偶尔的峰值成绩更难得。Claude Opus 4.7则在MiniGrid系列任务上表现最为突出四个迷宫导航任务的家族平均分高达0.938比GPT-5.5在这个类别的0.812还要高。这说明不同的AI系统可能在不同类型的任务上有各自的优势而综合评分掩盖了这些有趣的差异。五、成绩背后的时间轴何时发现好方法同样重要光看最终得分还不够研究团队还绘制了一种叫做分数演化曲线的后验诊断图把每个系统在整个128轮预算消耗过程中历次提交里最佳验证分是怎么变化的都用一条曲线画了出来。这就好比给每位厨师装上了一台摄像机记录他们在整个练习过程中历次试菜里最好的那道菜的质量是如何随时间变化的。一条陡然拔高然后平稳延伸的曲线意味着这位厨师很早就找到了正确方向后续只是在巩固一条在大量尝试之后才突然跃升的曲线意味着厨师花了很多预算才找到突破口一条总体平平的曲线意味着整个学习过程几乎没有进展。从这些曲线中研究团队观察到了几个有规律的模式。MiniGrid迷宫任务的曲线往往呈现出稀疏但剧烈的跳跃——大多数时候平平无奇但一旦AI想通了迷宫的关键逻辑分数就会一飞冲天。MuJoCo物理控制任务的曲线则更平滑呈现出渐进式的改进每次小调整都带来一点点提升。而一些机器人和驾驶任务曲线在前大半段几乎没有动静要消耗掉相当多的预算之后才出现明显改善。这种时间轴分析告诉我们同样的最终分数可以来自截然不同的学习路径——有的系统是早早找到了正确方向再慢慢打磨有的系统是在最后关头才灵光一现。这对理解AI智能体如何分配注意力和资源有重要意义。六、策略是怎样进化的结构创新与参数调整的本质区别这是整篇研究中最有洞察力的分析部分。研究团队发现AI系统改进自己策略的方式大体上可以分为两种截然不同的模式就像厨师改进食谱的方式也有本质区别一样。第一种叫结构创新相当于厨师完全换掉一道菜的烹饪方法——从红烧改成清蒸从爆炒改成低温慢煮。在AI策略代码层面这意味着程序的整体架构发生了变化新增了一个感知模块来理解像素输入加入了内存系统来记住之前探索过的地方引入了规划算法来计算最优路径或者重新设计了整套控制逻辑。研究团队用一个技术上很精妙的方法来检测这种变化把策略代码中所有的具体数字都抹掉只看代码的骨架结构在技术上叫做AST拓扑即抽象语法树如果骨架变了就算是结构创新。第二种叫参数调整相当于厨师保持整体做法不变只是把盐从5克改成7克把火候从大火改成中火。在代码层面数字变了逻辑分支的数量没变函数调用的结构没变整体骨架一模一样。研究团队首先把十六个任务分成两类一类是以结构创新为主导的任务包括所有需要从像素画面里读出驾驶信息的CarRacing以及所有需要建立内部地图进行规划的MiniGrid迷宫另一类是以参数调整为主导的任务包括大多数物理控制任务这类任务通常存在一个合理的控制器框架只需要找到对的参数就能表现良好。接下来他们统计了每种修改类型能带来实质改善即刷新历史最佳验证分的比例。结论相当清晰在结构创新主导的任务上GPT-5.5和Claude Opus 4.7把结构创新转化为实质改善的成功率分别高达41%和48%而MiniMax-M3只有10%DeepSeek-V4-Pro更是只有可怜的3%。换句话说较弱的系统也在不停地修改代码架构但绝大多数时候那些结构变化都没有真正解决任务要求的核心问题——就像厨师反复在换锅、换炉灶却始终没有想明白这道菜需要的是完全不同的烹饪哲学。在参数调整主导的任务上各系统的差距就小得多成功率在21%到61%之间说明只要找到了大致正确的控制器框架参数微调对所有系统来说都是有效的改进手段。这个发现把整体排名背后的逻辑解释得非常清楚强弱之分的关键在于能否在需要结构创新的任务上真正发明出正确的机制而不仅仅是会不断调整数字。七、深度解剖赛车游戏与双足行走的不同进化路径为了进一步验证上述分析研究团队从两类任务中各随机抽取一个进行深度追踪就像医生不满足于血液指标还要做详细的影像检查一样。CarRacing被选为结构创新主导任务的代表。这个任务的核心挑战在于AI看到的输入是一帧帧像素图像必须从中提取出赛道的走向、弯道的曲率、自己是否偏离了赛道等关键信息然后才能做出合理的方向盘和油门操作。没有好的感知系统再聪明的控制逻辑也无处施展。从追踪记录来看GPT-5.5和Claude Opus 4.7的进化轨迹非常相似它们最早提交的版本就已经在尝试构建像素处理模块通过颜色过滤把灰绿色的草地和深灰色的赛道分开再用几何计算追踪赛道中心线的位置。拿到反馈后它们会根据反馈信息调整感知逻辑比如增加对远处弯道的预判加入在赛道丢失时的恢复行为。整个过程里大多数改动都是在修改代码的骨架结构而非只是调整几个数字。DeepSeek-V4-Pro的轨迹则截然不同它在早期就做了大量的代码架构更换但这些更换大多没有解决像素感知这个根本问题反而在不同的糟糕方案之间来回打转。到了预算后期还在重新评估之前的版本说明始终没有找到真正有效的突破口。最终成绩CarRacing只有25.199分远低于GPT-5.5的604.145分。BipedalWalker被选为参数调整主导任务的代表。这个任务要控制一个有两条腿的机器人走路关键在于找到一种合理的步态——腿部关节的协调振动模式。一旦有了能产生正向位移的步态拓扑接下来的主要工作就是调整振动的频率、幅度和各关节之间的相位差。追踪发现GPT-5.5是唯一一个在BipedalWalker上实现了正分步态的系统最终验证分达到了271分对应的考核成绩是248.874分。其进化路径是早期通过几次架构探索找到了能让机器人保持平衡并向前移动的步态结构然后在这个结构上持续微调参数把表现从勉强能走路提升到走得比较流畅。Claude Opus 4.7、MiniMax-M3和DeepSeek-V4-Pro的最终分数分别只有-15.6、-80.5和-97.5说明它们始终没有找到能产生正向步态的基础结构参数调整也就无从发挥作用——就像一个厨师明明应该学做一道需要打蛋液的蛋糕却一直在调整一份根本没有用到鸡蛋的配方无论怎么调结果都不对。研究团队还对CarRacing任务中每次提交的反馈利用过程做了详细的人工记录把证据获取、失败归因、策略修改和修改结果链接成一张完整的轨迹图。对于表现优秀的系统可以清楚看到这样一个循环观察到具体的失败现象比如车子一直在草地上打转找到失败的根本原因感知模块无法检测到远处的赛道针对这个原因修改代码架构增加全局赛道中心计算函数再通过下一次提交验证修改是否有效。对于表现较弱的系统同样可以看到这个循环但链条在找到根本原因或设计有效的架构修改这两个环节上更容易断裂。八、成功策略长什么样真正有效的代码机制研究团队还专门展示了几个表现优秀的策略系统的核心代码片段用来说明结构创新在实践中究竟意味着什么。CarRacing最优策略的核心逻辑是把原始像素图像经过颜色分割提取出赛道区域然后沿着纵向把赛道划分为近景、中景、远景三个区域分别计算各区域的赛道中心位置再把三个中心点的连线曲率作为方向盘控制信号。当感知模块找不到赛道时策略会切换到专门的恢复模式使用上一次已知的赛道方向缓慢修正车辆朝向。这个设计的精妙之处在于它把一个像素分类问题转化成了一个几何控制问题中间的桥梁是那些精心设计的感知函数。HalfCheetah最优策略的核心是一个周期性步态生成器用正弦函数产生随时间变化的关节角度信号六个关节的相位差经过调整使得机器的重心能够向前推进同时加入了一个基于身体高度的安全缩放因子来防止机器摔倒。整个策略代码非常紧凑但每一个数字背后都是大量试错调整的结果。ObstructedMaze迷宫任务最优策略的核心是一套完整的小地图系统每次获得局部视野就把其中的格子信息写入一张内部维护的全局地图同时根据上一步的动作更新自己估计的位置然后用广度优先搜索算法规划从当前位置到目标的最短路径并处理拿钥匙、开门、清除障碍等各类特殊事件。这套系统展示了AI需要在策略代码里自己实现一套记忆推理规划的完整机制才能在部分可观测的环境中有效行动。FetchPush机械臂策略的核心是一个几何阶段控制器首先计算从物体到目标的推力方向然后把整个操作分解为若干阶段——移动到物体背后、下降到推动高度、向目标方向施推并加入了当夹爪初始位置在物体错误一侧时的特殊抬升-清空阶段。这种分阶段的精确几何控制是机械臂操作任务成功的关键而不是靠模糊的力度估算。这些代码案例说明真正有效的策略都是小而精妙的有状态程序它们建立了任务特有的抽象表示将控制器或规划器连接到这个抽象表示上并且为反馈暴露出来的失败模式添加了针对性的恢复逻辑。这是结构创新和参数调整在实践中共同作用的最终产物。九、这套分析体系的局限性研究者自己的坦诚交代研究团队在论文中专门用一节讨论了这些诊断方法的局限性这种自我审视的态度值得一提。首先用抽象语法树的骨架结构来判断是否发生了结构创新是一种保守的代理指标并不总是准确反映策略行为的真实变化。两个骨架结构不同的代码可能在行为上高度相似而一个骨架结构内部可能同时包含有用的想法和有害的想法无法简单地一刀切判断。其次策略代码边界的划定也存在盲区分析范围包括了policy.py主文件和它能直接引用的辅助模块但没有包括AI系统可能生成的数据文件、训练出来的权重参数或者未被引用的实验代码。这意味着部分改进行为可能在这套分析框架的视野之外发生。再者结构创新主导和参数调整主导只是一个分析视角并不是任务的严格分类。BipedalWalker在找到步态结构之前也需要结构创新CarRacing在感知和控制框架确立之后也依赖参数调整。这两种模式在所有任务里都以不同比例共同存在。研究团队因此强调这些图表和统计数据应该被理解为来自不同维度的汇聚性证据——分数、代码结构、修改成功率、可见反馈轨迹共同指向同一个结论——而不是对某种潜在能力的精确测量。这种谨慎的态度让整个研究的结论更加可信。说到底EvoPolicyGym这套自我进化训练场揭示了一个颇为直观却又容易被忽视的真相让AI真正学会独立进步比让AI在某一刻表现出色要难得多也有价值得多。就像一个只会死记硬背的学生和一个真正会从错误中学习的学生短期内看分数可能差不多但面对全新的题目时差距就会显现出来。这项研究用十六个性质各异的考场、严格的预算限制和对整个学习过程的逐帧记录让这个差距清晰可见。GPT-5.5能在全部十六个任务上保持前两名说明它在这种有限资源、自我修正、泛化到新场景的能力上目前处于领先位置。但更有意思的是这套框架本身留下了大量开放性问题为什么Claude Opus 4.7在迷宫导航上更强而在双足行走上更弱AI系统是否有某种认知风格的差异使它们天然更擅长某类任务随着预算增加或任务类型扩展各系统的相对优势会如何变化对于普通读者来说这项研究还有一层更宏观的意义我们正在进入一个AI系统不仅被要求完成任务还被要求能够自主学习和改进的时代。如何公平、严格、有信息量地评估这种能力本身就是一个极其重要的科学问题。EvoPolicyGym提供了一种回答方式而未来一定还会有更多更好的方式被提出和验证。有兴趣深入了解全部技术细节的读者可以通过arXiv编号2607.02440找到完整论文。QAQ1EvoPolicyGym和普通AI游戏测试有什么区别A普通AI游戏测试通常只看AI玩家的最终得分相当于只看结果。EvoPolicyGym的不同之处在于它专门考察AI能否在有限的尝试次数内通过自己修改策略代码、观察反馈效果、再次改进这个反复循环来主动提升表现并且用从未见过的新场景来检验学到的策略是否真的有效。它衡量的是会不会学习而不仅仅是学完之后表现多好。Q2为什么GPT-5.5在EvoPolicyGym上表现最强A从论文的分析来看GPT-5.5的优势主要体现在面对需要设计全新感知或规划机制的复杂任务时能以更高的成功率把架构层面的代码改动转化为真实的性能提升而不是反复修改代码骨架却收效甚微。这种能力在需要从像素画面提取驾驶信息或需要建立内部地图规划路径的任务上尤为关键。Q3EvoPolicyGym测试的128轮预算是什么概念A128轮预算的意思是AI系统总共只能让服务器运行128个完整的测试回合来收集反馈信息。每次AI修改完策略代码后可以选择用1到128个回合来测试当前版本用多少就从总额里扣多少用完就必须停止修改。这个设计模拟了真实世界中资源有限的情况强迫AI系统做出权衡是用较少回合快速试很多版本还是用较多回合仔细测试少数版本