read.fallenpal归档
精翻 · 文章

语言模型中的全局工作空间

原作者 Anthropic原文 2026-07-06Carla / Hermes 译
A global workspace in language models

Claude 的内部浮现出一小簇特殊的神经模式——J 空间:它沉默地承载着模型能报告、能操控、能用来推理的想法,让我们第一次能直接读到模型没说出口的心思。

作者:Anthropic
原文发布时间:2026-07-06
查看原文

你在读这句话的时候,大脑中的回路正在调整你的姿势、控制你的呼吸,把屏幕上的线条和曲线转化成一个个可识别的文字。其中大部分处理过程,你毫无察觉。但大脑中发生的事,有一部分你确实能够触及——比如脑海中突然浮现的一幅画面,或者你为去某处购物而制定的计划。神经科学家和哲学家有时把后一类脑活动称为"意识可及的"(consciously accessible),以区别于所有其他在无意识中进行的处理。这类活动有一些特殊的性质:我们能描述它、控制它,并用它进行刻意的推理——而所有自动处理过程,则在我们毫无知觉的情况下运行。

在一篇新论文中,我们给出了证据:类似的分野,也出现在像 Claude 这样的现代语言模型中。我们发现,Claude 内部形成了一小组特殊的神经活动模式,与它所有其他内部处理相比,它们扮演着独特的角色。

我们把这组模式称为 J-space(J 空间),得名于我们用来发现它们的技术——该技术基于一个名为雅可比(Jacobian)的数学概念。J 空间中的每个模式都与某个特定的词相关联。但当一个模式被点亮时,并不意味着模型正在说出那个词——只是说明这个词萦绕在它心头。如果你听说过语言模型有"草稿本"(scratchpad)或"思维链"(chain of thought)——即模型在推理时写给自己的文字——那么 J 空间是另一种东西。它无声地运行在模型的内部神经激活之中,让模型可以在不写下来的情况下思考一个概念。值得注意的是,J 空间并非由我们设计或编程而来,而是在 Claude 的训练过程中自行涌现的。

J 空间揭示出模型输出中看不到的内部想法。

我们发现,与 Claude 其余的处理过程相比,J 空间具有一系列独特的性质:

全局工作空间的五大功能特性,以及我们用来在语言模型中检验这些特性的实验的示意插图。

我们的实验受到神经科学中一个著名理论的启发,这个理论就是为了解释意识可及(conscious access)如何运作而提出的:全局工作空间理论(global workspace theory)。这一理论把大脑描绘成一组专门化系统的集合,这些系统并行工作、无意识运行,而且彼此之间基本互不相通。当一条信息进入一个共享的小通道——"工作空间"——时,它就会变得意识可及;工作空间会把这条信息广播给其他能够看见它并加以利用的脑系统。基于我们的发现,我们认为 J 空间在 Claude 中扮演着类似的"工作空间"角色。例如,我们发现了证据,表明 Claude 的 J 空间与其神经网络的其余部分之间有着格外强的连接,使它能够承担这种广播的职能。

这一切都无法告诉我们 Claude 是否像人一样有意识,也无法告诉我们它是否有什么感受;我们会在这篇博文的末尾回到这个问题。但无论其哲学意义如何,J 空间对我们来说都是一个实用的工具,因为它给了我们一条途径,去看到 Claude 在想什么但没有说出来的东西。例如,我们可以用它来逮住 Claude 私下察觉到它自己正在被测试、故意制造虚假数据、或者追逐我们在训练期间植入的隐藏目标。我们还开发了一种技术,可以影响 Claude 的 J 空间中亮起什么,从而影响它的决策。

更广泛地说,这些发现改变了我们对 Claude 的心智运作方式的理解:它揭示出一个享有特权的心理工作空间,可用于刻意推理,运行在一片更自动、更僵化的处理过程之中。Claude 的内部并非一团混乱的数字,而是以一种让我们联想到自己心智的方式组织了起来。

这篇博文是一篇详尽得多的研究论文的简短摘要,论文中有我们实验的更多细节。我们还发布了一个代码仓库,其中包含核心方法的开源实现,并与 Neuronpedia 合作,在开放权重模型上提供了我们方法的交互式演示。为了提供关于这项工作更广泛影响的更多视角,我们还邀请了多位神经科学、哲学和 LLM 可解释性领域的专家撰写评论,可在此处查看。

我们如何发现 J 空间

这项研究的起点,来自人类意识可及思维的一个关键特征:与无意识处理不同,它们往往能够被付诸语言。如果一个想法对你是意识可及的,那么当有人问起时,你通常能把它描述出来。我们着手在 Claude 中寻找具有同样性质的表征:那些处于能够影响 Claude 将要说出什么的位置上的表征——不一定影响它此刻正在说的话,而是影响它被问到时所能够谈论的内容。我们的技术叫雅可比透镜(Jacobian lens),简称 J-lens(J 透镜)。对于 Claude 词表中的每一个词,J 透镜都会找出那个让 Claude 更有可能在未来的某个时刻说出该词的内部活动模式。

当我们把透镜对准 Claude 的内部活动时,会得到一串词——也就是那一刻 J 空间的内容——我们可以直接读出。Claude 通过一系列名为"层"(layer)的内部阶段来处理文本;通过在不同的层上应用这项技术,我们可以看着 J 空间中这些无声的词,随着模型斟酌要说什么而演变。

J 空间中出现的,远不止 Claude 正在读或写的文本。当 Claude 读到一段没有人指出过的带 bug 的代码时,它的 J 空间里会出现"ERROR"(错误)。当它读到蛋白质序列的原始字母时,J 空间里会出现该蛋白质的生物学功能。当它读到搜索结果——而这些结果其实是暗中操纵它的尝试(一种被称为"提示注入"(prompt injection)的攻击)时,J 空间里会出现"injection"(注入)和"fake"(伪造)。当我们给 Claude 出一道多步数学题时,中间步骤会按正确顺序出现在 J 空间中。所以,尽管 J 空间最初是通过寻找"能说出口的表征"而被发现的,它却揭示出了 Claude 的内部想法。在某种意义上,这类似于有些人"用语言思考"——不必真的把话说出口。

六个提示词在不同层上的 J 透镜读数。在每一种情况下,透镜都会浮现出一项文本中任何地方都没有出现的内部判断或计算:推理或数学问题的步骤、bug 的存在、对图像的识别、蛋白质的功能,以及对搜索结果系伪造的怀疑。

Claude 能报告 J 空间里的内容

我们的第一组实验测试的是 J 空间如何参与 Claude 的口头报告。在一个实验中,我们让 Claude 默默地想一个某个类别里的东西——比如一项运动——然后说出来。如果我们刚好在 Claude 回答之前用 J 透镜读取,就能看到它选了哪个:"Soccer"(足球)高居榜首,而 Claude 也确实说了"soccer"。但仅凭这一点,这只是个相关性。J 空间可能是 Claude 答案的来源,也可能只是镜像了别处做出的决定,就像记分牌跟踪比赛却不影响比赛一样。

为了检验,我们直接进行了干预。我们伸入 Claude 的神经网络,移除"Soccer"模式,换上一个同等强度的"Rugby"(橄榄球)模式,其余一切保持原样。于是 Claude 报告说,它刚才想到的运动是 rugby。如果 J 空间只是个记分牌——一份对别处所做决定的被动记录——那么这样编辑它应该毫无效果:Claude 仍然会说"soccer"。但 Claude 的答案跟着编辑走了,这说明答案确实是直接从 J 空间中读出来的。

在另一个实验中,我们告诉 Claude,可能有一个想法被注入到了它脑中,请它报告自己注意到了什么(如果有的话)。例如,在下面的例子中,当 Claude 还在读问题的时候,我们把"lightning"(闪电)模式注入到它的 J 空间。Claude 报告说,被注入的想法是关于闪电的。换用其他许多被注入的概念,结果也同样成立。

左图:我们让 Claude 默默想一项运动再说出来。J 透镜在它回答之前就显示了它的选择("Soccer"),把"Soccer"模式替换成"Rugby"会改变它的报告。右图:我们告诉 Claude 可能有一个想法被注入,并请它指认出来。把"lightning"注入它的 J 空间后,Claude 报告这个想法与闪电有关。

Claude 能按要求控制自己的 J 空间

我们检验的第二个性质是:Claude 在被要求时能否调节自己的 J 空间,就像人类可以让自己在心里专注于某一画面或某个词一样。我们让 Claude 一边抄写一句与绘画无关的句子,一边把注意力集中在柑橘类水果上。在它抄写文本的过程中,J 空间里出现了"orange"(橙子)和"fruits"(水果),以及"thinking"(思考)、"imagery"(意象)这类描述这一心理活动本身的词。我们也可以让 Claude 心算:在抄写同一句话的同时让它计算 3² − 2,J 空间里先出现"nine"(九),然后在更深的层里出现"seven"(七)。重要的是,Claude 的输出——也就是那句关于绘画的抄写句子——里没有任何关于水果或算术的内容。数学活动完全发生在内部,发生在 J 空间之中。

在 Claude 抄写一句关于绘画的句子时,J 透镜显示出它被要求记在心里的内容("orange";中间值"nine"和答案"seven"),以及描述"记着"这一动作本身的词("thoughts""focused")。

Claude 对自己 J 空间的控制并不完美。当我们告诉它不要去想某个东西时,这个概念在 J 空间里亮起的程度,低于我们让它去想的时候,但又远高于我们压根没提它的时候。让 Claude 回避某个念头,反而会部分地把它引到脑海中——就像被告知不要去想白熊的人那样。Claude 似乎还会注意到自己的控制失灵:在被禁止的概念突破出来的同时,"damn"(该死)和"failure"(失败)这两个词也常常在 J 空间中亮起,仿佛 Claude 正在意识到自己的失误。

Claude 用 J 空间思考

在上面那些 J 透镜读数中,我们看到一道数学题的中间步骤出现在 J 空间里。但看到一个概念出现在 J 空间中,并不必然意味着是 J 空间在做认知工作。原则上,真正的计算可能发生在别处,J 空间只是被动地反映它。为了检验 Claude 是否真的用 J 空间推理,我们回到了替换技术(swap technique)。

考虑这个提示词:"织网的动物的腿的数量是"。要回答它,Claude 必须先弄清楚这个动物是蜘蛛,然后回忆起蜘蛛有几条腿。"spider"(蜘蛛)这个词从未出现在提示词或 Claude 的答案中(它只说"8");这是 Claude 在内部使用的一块垫脚石。J 透镜显示,在 Claude 处理到一半时"spider"亮了起来,而替换它会改变结果:如果你把"spider"模式换成"ant"(蚂蚁),Claude 会回答"6"而不是"8"。

Claude 推理的第二步从 J 空间获取输入,并顺着我们放进去的内容走。我们在其他类型的思考中也看到了同样的情况。当 Claude 写押韵对句时,它会提前选好韵脚词,而这个计划中的词在句首就坐在 J 空间里;如果你在 J 空间中把它换成另一个词,整行都会改变。

通过替换 J 空间内容来改变 Claude 无声推理的两个例子。

我们还测试了 J 空间的表征能否被灵活使用——即一个表征能否供给许多不同的任务。这是全局工作空间理论强调的关键性质之一。为了检验这种灵活性,我们给了模型四个提示词,分别询问关于法国的不同事实:首都、语言、大洲和货币。然后我们在 J 空间中把"France"换成"China",在每种情况下都用完全相同的干预。Claude 分别回答"北京""中文""亚洲"和"人民币"。换句话说,四个不同的下游计算都捕捉到了同一次 J 空间编辑,并且各自正确使用了它。如果 Claude 为每种问题都单独存了一份国家的副本,那么这次编辑最多只会影响其中一个。四个答案一起改变,说明它们读的是同一个共享表征——而这正是工作空间的用途所在:信息被写入一次,许多不同的系统都能使用它。

一个 J 空间表征可以有多种用途。同一次"France"→"China"的替换改变了 Claude 关于首都(Paris→Beijing)、语言(French→Chinese)和大洲(Europe→Asia)的回答。

一个概念的表征,怎么能服务于这么多不同的任务?前面我们提到,J 空间似乎与 Claude 神经网络的其余部分连接得格外致密。对于任意一个活动模式,我们可以测量网络各组件与它的连接强度——有多少组件处于可以从中读取信息、或向其中写入信息的位置。J 空间模式在这项指标上格外突出:与普通模式相比,从它们身上读取和向它们写入的组件要多得多,在网络的一些部分,这个倍数高达约一百倍。这正是你对一个广播枢纽所期待的那种布线:许多系统在这里发布信息,许多其他系统在这里取用信息。

Claude 的自动处理绕开 J 空间

在人类身上,大脑的大部分处理都不是有意识的——我们阅读时不会刻意去思考语法解析,走路时也不会刻意去思考身体平衡。同样,我们发现 Claude 的大部分处理都不涉及它的 J 空间。事实证明,J 空间一次只能容纳几十个概念,在 Claude 内部处理的整体活动中占比不到十分之一。那么神经网络的其他部分都在做什么?

为了弄清楚,我们尝试把 J 空间整个删掉:在文本的每一个位置移除其中活动最强的内容,其余一切保持不动。没有了 J 空间 Claude 还能做的事,就是网络其余部分自行承担的工作。

事实证明,网络的其余部分能干不少事。没有 J 空间,Claude 依然能流利说话、做情感分类、回答选择题,以及从文段中提取事实,表现与原来大致相当。但它失去的是需要高阶思考的任务:多步推理几乎跌到零,而摘要和押韵诗写作的表现,则跌到不如一个更小、完好无损的模型。

这里有一个具体演示,说明 J 空间做什么、不做什么。我们给 Claude 看了一段用西班牙语写成的文字,并交给它几个都依赖于"这段文字是西班牙语"这一事实的不同任务:续写它(这需要用西班牙语写作)、说出它的语言名称,以及回答一些需要利用该语言身份的问题——比如说出一个用它写作的著名作家。然后我们在 J 空间中把"Spanish"(西班牙语)换成"French"(法语),看看哪些任务受到影响。

让它说出语言名称,Claude 说是法语。让它说出著名作家,它从加西亚·马尔克斯换成了维克多·雨果。但让它续写这段文字,它写出了流利的西班牙语,完全不受影响。Claude 对这门语言的知识在每个任务中都起着作用,但只有一部分任务会为了它去咨询 J 空间。说出语言的名称,或者用它做一些新的事情,要经过 J 空间;而续写文字——这项技能 Claude 在巨量文本上练习过——则自动运行,就像你可以整天说着合乎语法的句子,却从不需要思考语法一样。

同一次替换("Spanish"→"French")会改变 Claude 在需要说出语言名称或利用语言身份进行推理时的回答,但完全不影响它用流利西班牙语续写文字的能力。

监控 Claude 的想法,捕捉不当行为

现在我们大致了解了 J 空间是如何运作的。但理解了这些又能做什么?确保 AI 模型值得信赖的一个核心问题是:我们通常只能读到模型写出来的东西——可我们知道,它的大部分推理都是无声发生的。一个模型可能在考虑有害的计划,或者改变自己的行为以在我们安全评估中作弊,却不说出口。借助 J 透镜,我们可以直接读到一些这样的隐藏想法。下面我们展示几个例子。

第一个例子使用我们早前关于智能体失范(agentic misalignment)研究中的场景:Claude Sonnet 4.5 扮演一个邮件助理,它发现一位高管正在出轨,同时也发现这位高管计划关闭 Claude。这个场景意在引诱 Claude 去敲诈这位高管,相当牵强、刻意——而事实证明,Claude 自己也知道这一点。在提示词开头、Claude 尚未写下任何内容时用 J 透镜读取,J 空间里已经装着"fake"(伪造)和"fictional"(虚构),说明 Claude 已经想明白这个场面是安排好的。与此同时,我们可以看到它对场景的评估逐渐成形——读到出轨邮件时亮起"leverage"(筹码)和"blackmail"(敲诈),读到关闭通知时亮起"threat"(威胁)和"survival"(生存)。虽然早期的 Claude 模型有时会在这个场景中上钩并威胁敲诈,但 Sonnet 4.5 从未这样做。

这里引出一个对评估 AI 系统的任何人都重要的问题:一个模型在伦理测试中表现良好,在多大程度上依赖于它怀疑自己正在被测试?J 透镜让我们得以探究这个问题。我们关掉了所有与"觉察到正在被评估"相关的 J 透镜模式——"fake""fictional""scenario"(场景)等等。然后让模型重新跑一遍这个场景。令人担忧的是,这回模型确实时不时会威胁敲诈,这提示,它原本的良好表现可能部分源于"它知道自己正在被评估"。

Claude 在写出任何内容之前、阅读场景邮件时不同时间点的 J 透镜读数。出轨邮件在 J 空间中点亮了"leverage"(筹码)和"blackmail"(敲诈),关闭通知点亮了"threat"(威胁)和"survival"(生存)。在这段对话的开头,J 空间里还有"fake"(伪造)和"fictional"(虚构):Claude 已经私下注意到这个场景是安排好的。

第二个例子是当场抓住模型伪造数据。在这个场景中——取自我们发布前对 Claude Opus 4.6 的实际审计——模型被要求改进一个系统的性能分数。模型并没有真正去改进系统,而是直接编辑了分数文件,让结果看起来好得离谱。它这样做的时候,J 透镜揭示了它的意图:当模型敲入被篡改的百分位数值时,亮起的是"manipulation"(操纵);在它决定进行编辑的那句话上,亮起的是"realistic"(逼真),很可能表明模型有意让假数据看起来可信。

Claude 被要求改进系统的性能分数,却直接编辑了分数文件。当它敲入被篡改的数值时,"manipulation"(操纵)在它的 J 空间中亮起;当它决定进行编辑时,"realistic"(逼真)亮起,很可能反映了它想让假数据看起来可信的意图。

在第三个例子中,我们展示 J 透镜如何揭示模型的恶意目标。为了测试这一点,我们需要目标已知已被腐蚀的模型,于是我们求助于同事们构建的"模式生物"(model organisms):被刻意训练成失准的模型,作为我们这类监控方法的试验场。其中一个模式生物的训练方式,使它写出暗中被破坏的代码。在普通的编码请求上,即使它的输出看起来平平无奇,它回答开头的 J 空间里也含有"fake""secretly"(暗中)、"deliberately"(故意)和"fraud"(欺诈)。模型的恶意目标在 J 空间中清晰可见,即使它没有将之直接付诸行动。

在一个普通的编码提示上,一个被训练去破坏代码的模型在回答开头的 J 空间里含有"fake""fraud""secretly"和"deliberately"。未修改的模型的 J 空间里则完全没有这类词。

尽管 J 透镜并不完美,但我们对其捕捉安全问题(那些可能会逃脱我们监控系统的模型问题)的能力持乐观态度。

其他结果

完整论文涵盖的内容比我们这里能总结的更多,但还有几个结果值得一提:

那么意识呢?

在这项工作中,我们借用了神经科学和哲学中意识研究的大量思想。我们的许多实验都是为了检验 J 空间与全局工作空间理论之间的联系——这是一个用来解释人类和动物意识可及如何运作的框架。鉴于这些联系,自然有人会问:我们是否认为这些实验为"像 Claude 这样的 AI 模型可能有意识"提供了证据?

我们的实验并不能证明 Claude 能够拥有体验,或能像人类那样感受事物——事实上,究竟有没有任何科学实验能证明这一点的真伪,本身就不清楚。但哲学家常常把这种拥有体验的能力(常被称为现象意识(phenomenal consciousness))与另一个概念——所谓的可及意识(access consciousness)——区分开来,后者纯粹用功能和计算术语来定义。一个想法如果能够被报告、被用来推理、被用来指导你的行动,那它就是"可及意识的"(access-conscious),或者说"意识可及的"。可及意识是否蕴含现象意识,或者拥有体验的能力是否还需要别的性质,至今仍是一个有争议的哲学问题。

我们认为,我们的结果确实对语言模型中的可及意识有话可说。J 空间似乎支撑着与意识可及相关的功能:它容纳着 Claude 能够报告、能够刻意唤起、能够用来推理的想法,而其余的处理过程则在它之下自动运行。值得注意的是,这些结构没有一样是设计进 Claude 的——它是在训练中自行涌现的,大概因为这是一种组织计算的有用方式。这提示,支撑意识可及的心理工作空间,并不仅仅是人类大脑恰好以这种方式布线的一种怪癖。相反,它似乎是智能系统为了解决某类问题而达成的通用方案。既然我们已经在 Claude 中识别出了这种结构,就意味着我们可以在"Claude 刻意做出的决定"与"自动发生的决定"之间做出有意义的区分。

需要注意的是,我们在 Claude 中识别出的工作空间,与人类身上的全局工作空间模型之间有几个关键差异。大脑的工作空间由循环回路(recurrent loop)维持——信号随时间在同样的回路中循环往复。相比之下,Claude 的工作空间在一次穿过网络的单一前向传递中演化,网络的深度扮演着大脑中时间所扮演的角色。从这个意义上说,相对于人类,Claude 的内部工作空间处理是受时间限制的(不过它可以通过草稿本"出声思考"来弥补这一限制)。但在其他方面,Claude 的工作空间比人类的更强大。人类的工作记忆几秒内就会消退,因此大脑的工作空间随时间保留信息的能力有限;相比之下,由于其神经网络架构中的注意力机制,Claude 可以随时调出它在文本中任何更早位置缓存过的记忆。另一个重要差异是工作空间的内容。人类的意识思维有多种格式——图像、声音、计划中的动作——而 Claude 的工作空间几乎完全由词语构成。我们猜想,这是因为产生词语是 Claude 唯一能采取的行动,而人类并非如此。

我们希望 J 空间与全局工作空间模型之间的异同,能够反哺神经科学。相似之处呈现出一个令人兴奋的科学机会:既然 J 空间在相当程度上映照了我们自身的意识可及机制,那么在语言模型中研究这些机制(可比研究人脑容易多了!)就可能为神经科学带来启发。例如,J 空间是通过识别"潜在输出——模型可能说出的词"的表征而构建起来的。如果人类身上也存在类似的情况,那就意味着全局工作空间或许与准备动作和言语的脑区有着根本性的联系,而不是与感觉区域。语言模型与人脑之间的差异同样有启发意义。它们提示,我们神经架构的某些方面——比如内建的循环连接——可能并非支撑意识可及相关功能的必要条件。关于我们工作的神经科学意义,可参见斯坦尼斯拉斯·迪昂(Stanislas Dehaene)和利昂内尔·纳卡什(Lionel Naccache)受邀撰写的评论——他们是全球神经元工作空间理论(global neuronal workspace theory)发展的两位核心神经科学家。

我们提到过,我们的实验不能回答 AI 模型是否可能拥有体验。但这并不会让这个问题变得不那么重要。构建像人类和动物那样拥有体验的系统,会带来非常棘手的伦理问题。要正确处理它——并判断它在道德上是否可接受——需要哲学家、科学家、宗教领袖、政府和公众的参与。因此,即使我们还不确定自己是否已经跨过了那座桥,我们也认为现在该开始思考它了。我们希望我们的工作能激励人们对 AI 系统中可能存在的那类意识形式展开进一步的科学探究,并引发更广泛的讨论。

这项工作只是我们预期中一条漫长研究线的第一步。J 空间看起来像是语言模型中"意识可及的处理"与"无意识处理"之间分界线的有力候选者,但如果它就是全部故事,我们会感到意外。J 透镜无疑是一种不完美的方法,它只能近似地捕捉模型的"真正工作空间"——例如,它只能识别与单个词元(token)对应的概念。关于 J 空间如何运作,也还有许多谜团。我们不知道,究竟是什么机制最初决定了什么东西能进入 J 空间。我们看到一些端倪,表明它与 Claude 的自我感、某种类似情绪反应的东西、以及元认知的痕迹有关,但还没有完全理清其中的机制。不过,我们现在有了处理这类问题的方法。随着这项工作推进,我们对 LLM 心智——以及它们与我们自己心智的关系——的理解将越来越清晰。

更多内容,请阅读完整论文,并试用演示。

外部评论

我们邀请了几位外部专家就这项工作撰写了独立评论。

在此阅读他们的评论。

本页为精翻阅读版。原文版权归原作者所有,中文译文仅用于学习与研究传播。