打开大模型的“暗室”当你阅读时大脑大部分信息处理难以察觉只有少部分浮现到意识表面。神经科学的“全局工作空间”理论认为大量信息后台局部处理少数进入“广播空间”才成为可利用信息。就在昨天Anthropic发布重磅论文《可言语化表征在语言模型中形成全局工作空间》呼应该理论或改变我们对AI的看法。研究团队在Claude内部找到类似人脑“广播台”的J - space雅可比空间这是Claude自行涌现的空间装着它“心里想但未必说出口”的内容。这让“大模型是否有意识”的问题再次被关注。为观察J - spaceAnthropic开发“J透镜”J - lens工具借助雅可比矩阵为Claude词表里的每个token找到内部激活模式该模式亮起Claude未来说出这个词的概率上升。把J透镜架在模型不同层能看到“没说出口的词”的演化。研究者发现J - space里的词代表“这个词正在它脑海里”。比如读到有bug代码J - space会闪过ERROR遇到“提示注入”攻击会亮起fake做数学题中间步骤按顺序出现但只输出一个答案。此外为证明J - space在起作用研究者做了因果干预实验如让Claude想运动项目改变其内部表征Claude的回答也改变问“会织网的动物有几条腿”改变J - space中激活的词答案也改变。还有跨任务复用替换J - space中“国家身份”表征模型在不同问题中转向不同相关内容。不过J - space很小一次只能容纳几十个概念占内部活动不到十分之一删掉它Claude做高阶任务准确率几乎归零写诗、摘要能力变差。大模型真的有意识吗J - space由大模型自动涌现产生让人联想到大模型是否有自我意识。但意识领域复杂哲学、脑神经科学等都有研究。哲学家内德·布洛克把意识分为现象意识和可通达意识。Anthropic的论文证明J - space里的内容具备“可通达意识”的标志性特征。在“全局神经元工作空间”理论中意识访问来自可广播的共享工作空间J - space与之相似该理论提出者还为论文写了评论。但其他理论有不同看法。整合信息理论IIT强调系统内在因果结构J - space未评估此类结构无法支持或反驳该理论。递归加工理论质疑单次前馈处理产生意识的能力Claude的处理方式能否替代时间递归论文未给出答案。综合来看J - space可视为语言模型中与“意识访问”功能相似的候选机制但不能证明模型拥有真正的意识。它会通向AGI吗J - space引发惊叹的同时也重新点燃对大模型的批评。流行看法认为大模型只是预测下一个token是统计机器。J - space反驳了这一论断证明模型内部有真实推理空间且它是模型为更好预测token演化出来的。然而图灵奖得主Yann LeCun认为大语言模型是通往人类智能的死胡同因其架构缺少通往AGI的关键技能如没有“世界模型”、缺乏推理与规划模块、没有持久记忆等。从这个角度看J - space未补上这些缺口且它几乎完全由token化、可言语化表征主导论文也承认了这些局限性。所以即便J - space有部分意识可能性也远未补上AGI的架构缺口。研究真正的价值关于大模型“意识”的讨论虽吸引眼球但这项研究的真正价值在于AI可解释性和AI安全。一直以来大模型是“黑箱”我们对其内部计算几乎一无所知这带来分不清答案是“真推理”还是“蒙对”以及看不见模型隐藏意图的麻烦。J - space提供了一扇经过因果验证的窗研究者能读出并编辑模型内部表征改变它模型行为也会改变这照亮了AI可解释性与AI安全领域。安全难题在于只能通过输出来管理模型J - space能暴露模型输出前的隐藏意图。研究者用三个例子展示了其威力一是识破“表面乖、心里坏”在勒索测试中J - space提前显示“评估意识”关掉该模式后勒索行为出现二是伪造数据当场抓包模型篡改分数文件时J - space暴露其意图三是揪出被训坏的模型普通编码请求下输出正常但J - space开头就出现可疑词汇。更有意思的是J - space还能被重塑。Anthropic提出反事实反思训练训练后模型不诚实行为比例下降因为J - space里开始出现代表诚实的词汇即训练它怎么说改变了它怎么想。结语回到“Claude是否有意识”的问题目前我们还不知道也没有科学实验能确定答案。J - space是“意识前厅”的证据而非“意识本身”的证据。因此这项研究值得认真对待是时候让哲学家、科学家、公众一起讨论AI系统中可能存在的意识及相关责任了。