如果要给AI圈排一个哥已不在江湖但江湖到处都是哥的传说的榜单前OpenAI首席科学家 Ilya Sutskever 一定排在最前面。2024年5月离开OpenAI之后他自己创办的SSISafe Superintelligence安全超级智能几乎从牌桌上消失了——不发模型、不做产品、不公开论文外界根本不知道他们这两年到底在研究什么。可就在今天下午一则爆料炸开了锅SSI 的第一款模型可能真的要来了。这把藏了两年的剑终于要出鞘了。爆料说了啥一个边用边学的小模型8月13日X推特上一个叫三只草莓的网友爆料SSI 正在探索一种基于TTT测试时训练的小型推理引擎。大意是这个模型会用专门整理的数据先学会如何学习然后在真正解决问题的过程中一边推理一边更新自己的部分权重。哪怕模型本身规模不大也可能和经过更大规模训练的模型掰手腕。更关键的是爆料还提到SSI 当前版本已经准备就绪团队正计划把下一代版本的规模直接扩大10倍而且最快可能这个8月就露脸早期先向少数用户开放。要是爆料属实那 SSI 藏了两年的底牌可能真的按捺不住了。为什么大家都信三条明晃晃的线索这则爆料能迅速传开不只是因为Ilya三个字自带流量而是它正好撞上了三条已经公开的线索。第一条来自 Ilya 自己说过的话。去年11月Ilya 在一个播客里说过一段很关键的话。他说AGI和预训练这两个词把行业带偏了——因为人并不是生下来就掌握所有工作的通用智能人真正靠的是持续学习。他设想的超级智能更像一个极其聪明、求知欲旺盛的15岁少年懂得不算多却能边学编程、边学医学、边学各种工作在一次次试错里继续长大。换句话说Ilya 想造的不是一台出厂即无所不知的机器而是一个能学会任何工作的心智。这和爆料里模型在解题时更新自己的 TTT 路线指向同一个方向。第二条来自英伟达。今年7月27日英伟达宣布与 SSI 达成长期战略合作、投资 SSI并提供下一代 Vera Rubin 系统让 SSI 的算力直接提升一个数量级约10倍。据路透社消息投资金额高达50亿美元。英伟达在公告里特意写了一句耐人寻味的话SSI 过去两年一直在悄悄推进一条新的研究路线英伟达罕见地接触到这项高度保密的研究后决定推动它进入下一阶段。翻译过来就是——老黄亲自验过牌了。至于牌是什么他没说。第三条来自技术本身的进展。这两年越来越多研究者开始厌倦不断把上下文做长这条路线转而寻找更接近人类的学习方式。原因很朴素人不是靠把小抄越写越长来学习的而是在经历一件事后调整自己的内部连接——下一次再遇到类似问题你已经不是上一次的自己了。这正是 TTT 真正有意思的地方。一张会消失的作弊小抄还是真的改变了自己那 TTT 到底是个啥它和现在火得不行的 Agent、Harness 有什么区别简单说现在的很多大模型技术比如给 Agent 搭脚手架、喂更多上下文本质上是让模型看到更多、调用更多——给模型配个外挂但它本身没变。上下文就像一张随时能翻的作弊小抄模型解决完问题小抄还是小抄。TTTTest-Time Training测试时训练不一样。它让模型把训练和推理不再彻底分开在真正解决眼前的问题时拿当前的数据继续训练一遍自己根据误差调整内部状态甚至直接更新一部分参数。爆料里还提到一篇相关论文《End-to-End Test-Time Training for Long Context》传统长上下文模型是把前文存在窗口里、查的时候再翻而这套做法把整段上下文当成训练数据让模型在读的过程中把信息压进自己的权重里。上下文不再是一张随时翻阅的小抄而是真正改变模型本身的学习材料。一句话总结区别别的技术让模型手里的工具变多TTT让模型自己变强。最难的那道坎让它学会什么不能学如果 TTT 这么牛为什么大家过去不敢用难点在于一个能在部署后修改自己的模型可能学错、学偏甚至把自己原有的能力忘了。这不是杞人忧天。2016年微软的聊天机器人 Tay 上线不到24小时就在网友的诱导下开始输出攻击性内容最后被紧急下线。Tay 和 TTT 不是同一种技术但它很早就暴露了同一个难题——安全。所以有人就问爆料网友那安全问题解决了没对方说Ilya 已经解决了。这句话当然算不上实锤更像是江湖传言。但偏偏它又绕回了 SSI 那个名字里的第一个字母——Safe安全。如果 Ilya 真想造一个部署之后不断成长的超级智能那么让它学会学习其实只解决了一半问题。剩下那一半甚至更难让它知道什么不能学。所有人为什么都在等他最后还有个问题为什么一则连真伪都无法确定的匿名爆料能让这么多人兴奋答案很简单——因为站在那扇门后面的那个人是 Ilya Sutskever。他是 OpenAI 联合创始人、前首席科学家也是过去十几年深度学习最有影响力的研究者之一。从 AlexNet、Sequence-to-Sequence、AlphaGo 到 GPT 系列都有他的名字。英伟达在合作公告里还提到Ilya 后来还主导了通向 o1 等推理模型的研究。他最吓人的地方从来不是发模型多而是他的职业生涯里有好几次都在技术路线真正成为共识之前就提前站到了那条路上。过去两年Ilya 反复谈泛化、谈持续学习甚至暗示预训练时代可能正在走向终点。现在又有人爆料SSI 正在做一个会在推理过程中继续更新自己的模型。如果这两条线最终真的能对上——那 Ilya 闭关两年磨的可能真的不是另一个更大的 GPT而是一把会在出手时自己变招的剑。准备好吧。文中所用图片来源于网络仅供技术学习与交流。如权利人认为存在侵权请联系我们我们将在24小时内处理。
