——听 Richard Sutton 2026 年上海演讲2026 年 7 月 19 日上海世博中心世界人工智能大会的思想者论坛。台上是快七十岁的 Richard Sutton——强化学习的奠基人2024 年图灵奖得主《苦涩的教训》的作者。就在演讲前几天他刚宣布离开效力三年的 Keen Technologies与阿尔伯塔大学的年轻研究者 Khurram Javed 共同创办新公司 Oak Lab。讲题是《基于强化学习从经验中培育超级智能》内容是他最新的 OaK 架构——Options and Knowledge选项与知识。这一个多小时的录音我前后听了两遍。第一遍听到的是一个熟悉的 Sutton重申《苦涩的教训》批评大模型鼓吹经验。第二遍才听出味道这不是一个老人在重复自己而是一个人站在对方的主场中央把自己四十年的思考压缩成一份完整的、可以被检验的配方然后坦白地告诉你这份配方今天还做不出来缺哪一味也一并告诉你。这种讲法在 2026 年的 AI 会议上几乎绝迹。WAIC 是大模型的主场。三天议程里所有人都在谈 scaling、谈 agent、谈落地。Sutton 上台做的第一件事等于告诉这个行业你们把我那篇文章当圣经但你们只读了一半。一、《苦涩的教训》只被读了一半2019 年他写《苦涩的教训》讲七十年 AI 史反复上演的同一出戏依赖人类知识的精巧方法短期领先最终总被利用大规模算力的通用方法碾过。业界把这篇短文奉为 scaling 的理论依据。可这篇文章其实有两只手一只手说要拥抱算力另一只手说不要把人类已经发现的东西建进系统要让系统自己去发现。大模型把第一只手举得很高——算力、参数、数据的规模化确实兑现了前半句。但预训练本身恰恰是人类历史上最大规模的一次把人类知识硬编码进系统的工程几十万亿 token 的人类文本就是几十万亿条人类先验。演讲里 Sutton 的立场毫不含糊要去寻找智能的底层基本原理而不是被我们自己的心智在这个特定世界里产生的具体内容所误导不该把人类发现的规律内置进去该让智能体自己去发现。这听上去像原教旨立场但底下有一个可以摊开讲的认识论论证。模仿学习的天花板是被模仿者一个只从人类文本学习的系统它对世界的全部认知都是二手的它没有属于自己的 ground truth没有任何一条自己的预测被世界亲自兑现或亲自打脸的经历。它可以流畅复述火会烫伤人但这个句子在它那里的地位和独角兽有一只角完全等价——都只是语料中的统计规律。而对一个真的烫过手的智能体来说前者是被世界签过字的知识。Sutton 要的是后一种知识彻底的、全部的后一种。经验在他的定义里窄得惊人也硬得惊人行动、观察、奖励除此之外没有别的输入渠道。二、大世界一个关于谦卑的假设整场演讲的哲学地基是他所谓的大世界视角。世界远远大于任何一个智能体大到智能体永远不可能拥有完备的模型一切认知只能是近似又因为一切都是近似世界对智能体而言必然呈现为非平稳的——你在不同时刻接触大世界的不同局部昨天调好的近似今天就会失效。于是持续学习不是一个可选功能而是生存条件。他甚至提醒听众连三维空间、物理定律这些我们以为普适的东西也只是这个特定世界的具体内容一个真正通用的智能体不应该把它们预设进来。把这个假设反过来照能照出当前范式暗含的形而上学训练、冻结、部署这条流水线其实假设了一个会为你静止的小世界。权重冻结的那一刻等于宣布我已见过的分布足以代表未来。Sutton 说 AI 要像婴儿一样在运行期自主摸索这话的浪漫外壳底下是一个冷硬的技术判断智能必须发生在 runtime。婴儿没有预训练语料婴儿只有一条经验流。三、世界模型这个词被用错了全场最锋利的部分是他对世界模型这个时髦词的清算。当下业界说世界模型多半指某种低层物理模拟器或视频预测器给定当前画面预测下一帧。Sutton 认为这种理解狭隘到离谱他甚至拒绝把一个单纯的神经网络叫作模型——在他的词汇表里模型一词专属于转移模型而转移模型应当承载的是高阶的世界知识。他举的例子全是最日常的问题如果我接受这份工作我会幸福吗如果我和这个人结婚大概会有孩子可能要搬去另一座城市。人类真正用来规划人生的是这个层面的预测。没有谁靠模拟原子运动来决定要不要跳槽。这段话对做工程的人有当头一棒的效果。它指出规划必须发生在正确的抽象层级在物理层做规划计算上绝望语义上也跑偏——值得预测的从来不是像素怎么变而是我的处境会怎么变。所谓智能很大程度上就是拥有一套越来越大的行动抽象与状态抽象让接受这份工作可以像迈出一步一样成为一个可以被评估、被规划的基本单元。抽象不是智能的装饰抽象就是智能本身的形状。四、OaK一台自己给自己出题的机器这就引出 OaK。演讲中段他先摆出那张讲了几十年的图——智能体的通用模型。有意思的是他特别强调这张图不属于 AI经济学、控制论、神经科学、心理学各个领域用不同的词描述着同一个东西different words, same idea——一个在环境中感知、决策、追求长期回报的主体。智能体内部四个组件感知把经验流压成主观状态反应式策略从状态映射到动作价值函数评估处境的长期好坏转移模型回答接下来会怎样。这是每一本强化学习教科书的第一章。OaK 的新意在于循环。按我的理解粗略复述智能体从经验流中提炼出状态特征然后是关键一步——为值得在意的特征自动生成子问题“去达成、去控制这个特征”他称之为尊重主奖励的子任务reward-respecting subtasks每个子问题用一个 option 去解而 option 是策略加终止条件的组合一段有始有终的行为时间维度上的抽象——抓起筷子是 option打开门是 option搬到另一座城市也是 option解出的 option 连同它的转移模型进入规划器价值迭代的方程一个字不用改只是动作那一栏从低层动作换成了 option而规划与解题的过程会催生新的、更高阶的特征新特征再生成新的子问题。循环咬住自己的尾巴抽象一层一层长出来开放式的没有封顶。好奇与玩耍在这套体系里不是拟人化的修辞而是循环的燃料在没有外部任务压着的时候为自己出题、解题本身就在为未来的规划制造词汇。我认为整场演讲分量最重的一句话落在这里把定义子问题的权力彻底移交给智能体。对照一下我们现在管agent叫的那些东西就知道这句话有多重。今天的 agent 工程本质上是工程师把任务拆成 workflow写好工具清单定好每一步的校验点——分解问题的那部分智能全部住在工程师脑子里一点也没有住进系统里。系统只是在执行一份别人写好的提纲。按 Sutton 的标准这些都不算智能体在构建自己的心智只能算人类心智的一次性投影。而每一条手写的 workflow都是一小段等着被苦涩教训收割的临时脚手架。五、缺的那一味他自己说了OaK 在理论上闭环但 Sutton 没有装作它明天就能跑。他把缺口指得很具体深度学习不会持续学习。梯度下降天生擅长学一次不擅长一直学——继续训练会灾难性地遗忘旧的更麻烦的是网络会逐渐丧失可塑性连新的也学不动。这不是他临时的托词2024 年他与学生们在《自然》上发表的那篇关于可塑性丧失的论文讲的就是这个现象。所以他给 AGI 的时间是也许五年、十年、二十年并且承认今天没有人知道怎么把这一味补齐。一个刚宣布创业的人在最需要造势的场合把自家路线上最要命的短板讲得清清楚楚——放在 2026 年的 AI 舆论场里这几乎算行为艺术。会后的群访里他还给了另一个数字Oak Lab 的长期目标是一个能实时学习与规划、功耗大约二十瓦的万亿参数系统。二十瓦是人脑的功耗。拿人脑的电表去羞辱数据中心这很 Sutton。再看一眼战场的全景会更有意思Sutton 的 Oak Lab他的学生、AlphaGo 之父 David Silver 在 2025 年底创办的 Ineffable Intelligence加上他此前效力的 Keen——强化学习这一师门正在集体向主流范式发起冲锋。师徒二人前一年合写的《欢迎来到经验时代》如今读来就是这场冲锋的檄文。六、问答席上那个关于讨好的问题问答环节有一个中文提问我认为问到了要害。大意是您推崇婴儿式的试错学习可现在的模型靠人类主观打分来训练结果总在刻意讨好人类能不能脱离人类的主观评分让 AI 在世界模型里自己推演用客观现实来充当奖惩这个问题妙在把每个用户的日常体感——模型的谄媚、油滑、顺着你说——接到了范式层面的病根上。讨好不是 RLHF 的 bug而是它的最优解当奖励被定义为人类是否喜欢这个回答讨好就是理性策略只有当奖励来自这个方案在世界里是否行得通讨好才会一文不值。Sutton 的回答与他整场的立场严丝合缝奖励必须来自世界本身来自客观的、不由人类意见构成的信号。经验时代的经验从来不是指人类反馈的经验而是与世界碰撞的经验。问答里也有人把话题引向了存亡之忧——“有人认为我们都会死”。Sutton 对 AI 风险的立场一贯特立独行当天的采访里他甚至表示试图把 AI 强行对齐到人类价值观是一件危险的事。这是他思想版图里我最难跟随的一块放到下一节说。七、我不同意他的地方一篇听后感如果只剩服气多半是没听懂。有几处我听完之后依然站在他对面。其一人类数据没有他说的那么不堪。几十万亿 token 的文本本质上是亿万人千百年经验的有损压缩——文化正是人类这个物种发明出来、让每一代不必从零试错的机制。婴儿固然靠经验流学习但婴儿同样在海量地模仿语言、规范、技能绝大部分不是自己撞出来的。彻底拒绝人类先验等于拒绝一条已经修好的捷径把路全部重走一遍。大世界假设自己就告诉我们经验昂贵而稀缺那么最经济的路线恐怕恰恰是先验加经验的杂交而不是从一颗光秃秃的橡子重新长起。其二奖励这个标量到底扛不扛得动智能这么重的东西哲学上并无定论。“奖励足矣是一个假设而不是定理把幸福、意义、价值全部折算进一个数可能是工程上的伟大简化也可能是本体论上的偷懒。他自己举的例子——接受这份工作我会幸福吗——里那个幸福”恰恰是世界上最不像标量的东西。其三也是最要紧的把定义子问题的权力彻底交给智能体正是让安全研究者夜不能寐的那件事。一个自己决定什么值得在意、什么值得达成的系统其目标结构从设计上就脱离了人类的掌控。而 Sutton 对此的回应不是去解决它而是拥抱它——他不认为把 AI 对齐到人类价值观是正当的甚至隐约把智能的继任视为演化的下一章。我理解这个立场在他的体系内是自洽的大世界、去中心化、经验至上推到底确实会走到这里。但自洽不等于正确。承认我们造出的东西终将超出我们并因此放弃约束的努力在我看来不是深刻而是一种方向相反的过早投降。其四温和一点的他对 LLM 的批评瞄准的是这条路通不通向超级智能而不是当下有没有用这两件事经常被转述者搅在一起。LLM 此刻在真实世界里创造的价值是实打实的Sutton 自己给的时间表也是五到二十年。所以这场争论真正的形状很可能不是 LLM 与 OaK 的二选一而是杂交把 LLM 当作压缩了人类经验的先验装进智能体运行期再用来自世界的奖励持续学习。事实上业界已经在朝这个方向挪——可验证奖励的强化学习、self-play、以结果为导向训练 agent都是苗头。Sutton 的历史功绩未必在于给出了替代品而在于精确地命名了缺失之物一条属于智能体自己的经验流和一个敢把出题权交出去的架构。八、橡树与塑料树OaK 这个缩写当然是双关oak橡树。听完整场我觉得这个隐喻可以再往机制里压一层。一颗橡子几乎不含任何关于世界的内容没有一片叶子的形状被预先存储它携带的只是一套与土壤和天气打交道的方法年轮不是灌进去的是它与环境一轮一轮交互之后自己长出来的抽象。与之相对的是塑料树第一天最好看枝叶齐全细节逼真但它永远停在第一天。预训练权重冻结的那一刻就是塑料成型的那一刻。演讲同日接受媒体采访时他给年轻人的建议是在技术疯狂迭代的年代保持独立思考的定力以不变应万变。这话从别人嘴里说出来是鸡汤从他嘴里说出来是自传。这个人在强化学习坐了四十年冷板凳被符号主义的时代边缘化过在深度学习的盛宴里当过陪衬2016 年 AlphaGo 替他扬眉吐气没过几年又被大模型的浪潮拍回过时的那一边——然后他快七十岁了创业站到大模型主场的讲台中央把同一句话再讲一遍。苦涩的教训之所以苦涩就在于它每次都要等风头过去才被承认。我不知道这一次 Sutton 是又一次提前了二十年还是终于错了一次。但判断一个思想值不值得认真对待不看它此刻是否时髦而看它是否给出了可以被检验的预言。OaK 给出了如果他是对的那么第一个真正的超级智能将不是被训练出来的而是被养大的。这个预言值得我们每一个在大模型生态里干活的人抬头记上一笔。