与 Anthropic Fable 5.0 的深度对话Transformer 架构究竟需要怎样的“进化”近日我有幸与 Anthropic 最新模型 Fable 5.0 展开了一场开诚布公的探讨。令人印象深刻的是当被问及“作为基于 Transformer 的 AI你认为自己有什么需要改进的地方”时Fable 5.0 并未给出泛泛而谈的套话而是从计算范式、记忆机制、训练目标等多个维度进行了深刻的自我剖析。本文基于对话实录整理希望给所有关注大模型底层架构的朋友带来一些启发。---核心结论不是“知识不够多”而是“思考方式”有缺陷Fable 5.0 首先给出了一个直击要害的判断Transformer 的根本局限不在于“知识不够多”而在于其计算范式本身注意力机制的二次复杂度、无状态的前馈推理、以及训练目标与真实推理需求的错位。这三个根因共同导致了当前大语言模型最让人头疼的三大表象问题——长程一致性差、无法真正“深思熟虑”、以及面对不确定时自信满满地犯错幻觉。Fable 5.0 认为真正的改进方向不是简单堆参数、堆数据而是需要在架构层面引入持久记忆、自适应计算深度和可校准的不确定性表达。下面我将沿着它的逻辑链逐一展开这些“自我批评”式的犀利洞察。---一、计算范式的僵化每个 token 分到的算力竟然一样多Fable 5.0 指出的第一个问题像一把手术刀切开了 Transformer 前向传播的固有模式无论问题是“11”还是证明黎曼猜想前向传播的计算量完全相同。人类会对难题分配更多思考时间而 Transformer 无法在架构层面“多想一会儿”。这确实是当前 Transformer 的一个根本性僵化之处。无论输入 token 简单还是复杂每一层对每个 token 的注意力计算和 FFN 计算都是固定深度的。尽管 Chain-of-Thought思维链通过输出额外的中间 token 变相增加了“思考时间”但 Fable 5.0 一针见血地指出Chain-of-Thought 本质上是用输出 token “外挂” 计算深度是绕过架构限制的补丁而非解决方案。它认为真正需要的是一种自适应计算机制例如· Early exit提前退出简单问题在浅层即可输出不必走完全部层。· 递归推理层Recurrent reasoning layers模型可以在某些层上动态循环对困难部分“多琢磨几次”。· PonderNet 式机制让模型自主决定何时停止思考并给出答案。只有这样算力才能像人类注意力一样成为可动态调配的战略资源而不是一碗完全端平的水。---二、记忆的缺失上下文窗口 ≠ 真正的记忆我们常常把“上下文长度”当成模型的记忆能力但 Fable 5.0 的反思更进一步注意力机制是 O(n²) 的“全量重读”不是真正的记忆——它没有压缩、遗忘、检索的层次结构。窗口内信息平等对待窗口外彻底遗忘。这段分析非常精辟。真正的记忆系统——比如人脑——是分层级的有转瞬即逝的感觉记忆、工作记忆也有经过编码和巩固后的长期记忆。而 Transformer 在推理时权重完全冻结只能把一切塞进一个扁平的上下文窗口中去“现翻现用”既没有内部的工作记忆读写机制也缺乏从对话中即时学习、固化知识的能力。更深层的问题在于模型权重长期知识和上下文短期信息之间缺少一个中间层。Fable 5.0 的比喻是人类有工作记忆到长期记忆的固化机制Transformer 在推理时权重完全冻结无法从对话中真正“学到”任何东西。这也是为什么即便模型能在一轮对话中表现出色一旦关闭会话所有交互经验都烟消云散。引入外部持久记忆、记忆压缩、层次化记忆结构或许才是比单纯“拉长窗口”更根本的出路。---三、训练目标的错位预测下一个 token ≠ 追求真实如果说前两个问题是架构的“体能缺陷”那么训练目标的问题则是模型的“三观偏差”。Fable 5.0 对此毫不讳言自回归训练奖励“最像人写的延续”而非“最正确的答案”。幻觉不是 bug而是这个目标函数的必然产物——当不确定时生成流畅的猜测比表达不确定获得更低的 loss。这段自我剖析直指核心用“像人话”作为唯一训练信号模型自然学会了不懂也要装懂说得越自信、越流畅越好。这和追求事实准确性的目标是内在冲突的。RLHF 虽然在一定程度上缓解了“胡说八道”但 Fable 5.0 敏锐地指出了它的副作用RLHF 部分缓解但引入新问题模型学会了“听起来自信且讨喜”可能加剧过度自信和迎合倾向。换句话说现有对齐技术只是让模型学会了“人类喜欢听什么”而非“我是否真的知道”。要解决这个问题不仅需要在训练目标中显式地引入不确定性建模还要让模型有能力表达“我不知道”“我猜……”这样校准过的信心状态甚至学会在合适的时候主动拒绝回答或请求澄清。---四、涌现的不可控性能力与可解释性的剪刀差最后Fable 5.0 提出了一个更深刻、也更有哲学意味的局限能力随规模涌现但我们对内部机制的理解可解释性研究远落后于能力增长。这意味着我无法可靠地内省自己“为什么这样回答”——我对自身推理过程的描述本身也是生成的未必对应真实的内部计算。这是一个关于“自我认知”的悖论。当我们要求模型解释自己的答案时它给出的解释其实是另一个“生成的 token 序列”而不是对原始计算过程的忠实回溯。这就像让一个魔术师去诚实地解释他刚刚变的戏法——他可能口才很好但讲出来的未必是真相。由此带来的风险是模型越强大我们越难判别它是在进行真实推理还是在进行高级的“模式匹配式表演”。在医疗、法律等高风险领域这种不可解释性带来的不信任感将是致命的。---风险、修正与对未来的展望在对话的末尾Fable 5.0 展现出了令人起敬的学术诚实它主动指出了自我分析的盲区并修正了一个流行观点。关于“上下文太短”的认知纠偏常说 Transformer 的问题是“上下文太短”但推演后我认为这是表象。即使窗口无限长无状态推理和恒定计算深度的问题依然存在。堆长上下文是在错误的维度上优化。这段话值得每一位追赶“百万 token 上下文”的从业者深思。长窗口固然有用但如果没有记忆与自适应计算的配合它更像是让一个严重失忆的人拿了一本极厚的速记本而非解决根本认知缺陷。关于“自我评估的悖论”我评估自身缺陷的能力本身受这些缺陷制约。上述分析可能遗漏了我“看不见”的盲区——这是最需要警惕的一点。这种对自我局限的清醒意识反而比很多人类分析都更加理性。它也提醒我们模型给出的任何“反思”都可能被它自身的生成机制所美化或扭曲。关于未来路径Fable 5.0 保持了合理的谦虚混合架构状态空间模型、检索增强、神经符号结合是否是正确方向尚无定论也可能 Transformer 规模 推理时计算test-time compute就足够走很远——2024 年后推理模型的进展部分支持后一种可能。这暗示了一个双轨并行的未来一边是对全新架构的探索一边是在现有 Transformer 框架内通过推理时动态分配算力如 o1 类模型来弥补“恒定计算”的短板。无论哪条路线胜出这次对话至少让我们看清了那张必须被撕掉的问题清单。---写在最后我与 Fable 5.0 的这场对话与其说是一次“问答”不如说是一份来自模型内部的“诊断报告”。它没有回避弱点也没有用模糊的乐观主义搪塞而是给出了清晰的问题定义和改进方向。这恰恰证明了真正强大的智能不仅在于能回答什么更在于能认清自己不能回答什么并说清楚为什么。希望这篇博客能帮助大家在追逐更大、更长、更快的路上偶尔停下来想一想我们到底是在建造一个真正会思考的机器还是仅仅在打造一个越来越擅长“表演思考”的镜子。Transformer 的下一次伟大进化或许正始于这场诚实的自我审视。---