Claude 的内部浮现出一小簇特殊的神经模式——J 空间:它沉默地承载着模型能报告、能操控、能用来推理的想法,让我们第一次能直接读到模型没说出口的心思。
你在读这句话的时候,大脑中的回路正在调整你的姿势、控制你的呼吸,把屏幕上的线条和曲线转化成一个个可识别的文字。其中大部分处理过程,你毫无察觉。但大脑中发生的事,有一部分你确实能够触及——比如脑海中突然浮现的一幅画面,或者你为去某处购物而制定的计划。神经科学家和哲学家有时把后一类脑活动称为"意识可及的"(consciously accessible),以区别于所有其他在无意识中进行的处理。这类活动有一些特殊的性质:我们能描述它、控制它,并用它进行刻意的推理——而所有自动处理过程,则在我们毫无知觉的情况下运行。
在一篇新论文中,我们给出了证据:类似的分野,也出现在像 Claude 这样的现代语言模型中。我们发现,Claude 内部形成了一小组特殊的神经活动模式,与它所有其他内部处理相比,它们扮演着独特的角色。
我们把这组模式称为 J-space(J 空间),得名于我们用来发现它们的技术——该技术基于一个名为雅可比(Jacobian)的数学概念。J 空间中的每个模式都与某个特定的词相关联。但当一个模式被点亮时,并不意味着模型正在说出那个词——只是说明这个词萦绕在它心头。如果你听说过语言模型有"草稿本"(scratchpad)或"思维链"(chain of thought)——即模型在推理时写给自己的文字——那么 J 空间是另一种东西。它无声地运行在模型的内部神经激活之中,让模型可以在不写下来的情况下思考一个概念。值得注意的是,J 空间并非由我们设计或编程而来,而是在 Claude 的训练过程中自行涌现的。
我们发现,与 Claude 其余的处理过程相比,J 空间具有一系列独特的性质:
- Claude 能报告这些表征。如果你问 Claude 在想什么,它会告诉你 J 空间里的内容。而非 J 空间的表征,Claude 就难以报告了。
- 它也能按要求调节这些表征。如果你让 Claude 去想某个东西,或默默在心里解决一个问题,它会点亮 J 空间中相应的模式。相比之下,它很难调节 J 空间之外的模式。
- Claude 用它的 J 空间进行内部推理。如果你让 Claude 解决一个需要多个步骤的问题,中间步骤会在 J 空间中逐一亮起,即使它没有把这些步骤说出口。这些 J 空间模式是它在这些任务中表现的因果中介,尽管量级小于其他表征。
- J 空间中的表征可以灵活地用于许多任务——例如,一旦"法国"在 Claude 的 J 空间中亮起,模型就能回忆起它的首都、它的法定货币,或者它属于哪个大洲。
- 然而,尽管扮演着重要角色,J 空间并不参与语言模型所做的大部分事情——流畅地说话、回忆简单事实、使用正确的语法等等。在我们阻止 Claude 使用其 J 空间的实验中,它仍然能正常交互,但失去了高阶认知功能。
我们的实验受到神经科学中一个著名理论的启发,这个理论就是为了解释意识可及(conscious access)如何运作而提出的:全局工作空间理论(global workspace theory)。这一理论把大脑描绘成一组专门化系统的集合,这些系统并行工作、无意识运行,而且彼此之间基本互不相通。当一条信息进入一个共享的小通道——"工作空间"——时,它就会变得意识可及;工作空间会把这条信息广播给其他能够看见它并加以利用的脑系统。基于我们的发现,我们认为 J 空间在 Claude 中扮演着类似的"工作空间"角色。例如,我们发现了证据,表明 Claude 的 J 空间与其神经网络的其余部分之间有着格外强的连接,使它能够承担这种广播的职能。
这一切都无法告诉我们 Claude 是否像人一样有意识,也无法告诉我们它是否有什么感受;我们会在这篇博文的末尾回到这个问题。但无论其哲学意义如何,J 空间对我们来说都是一个实用的工具,因为它给了我们一条途径,去看到 Claude 在想什么但没有说出来的东西。例如,我们可以用它来逮住 Claude 私下察觉到它自己正在被测试、故意制造虚假数据、或者追逐我们在训练期间植入的隐藏目标。我们还开发了一种技术,可以影响 Claude 的 J 空间中亮起什么,从而影响它的决策。
更广泛地说,这些发现改变了我们对 Claude 的心智运作方式的理解:它揭示出一个享有特权的心理工作空间,可用于刻意推理,运行在一片更自动、更僵化的处理过程之中。Claude 的内部并非一团混乱的数字,而是以一种让我们联想到自己心智的方式组织了起来。
这篇博文是一篇详尽得多的研究论文的简短摘要,论文中有我们实验的更多细节。我们还发布了一个代码仓库,其中包含核心方法的开源实现,并与 Neuronpedia 合作,在开放权重模型上提供了我们方法的交互式演示。为了提供关于这项工作更广泛影响的更多视角,我们还邀请了多位神经科学、哲学和 LLM 可解释性领域的专家撰写评论,可在此处查看。
我们如何发现 J 空间
这项研究的起点,来自人类意识可及思维的一个关键特征:与无意识处理不同,它们往往能够被付诸语言。如果一个想法对你是意识可及的,那么当有人问起时,你通常能把它描述出来。我们着手在 Claude 中寻找具有同样性质的表征:那些处于能够影响 Claude 将要说出什么的位置上的表征——不一定影响它此刻正在说的话,而是影响它被问到时所能够谈论的内容。我们的技术叫雅可比透镜(Jacobian lens),简称 J-lens(J 透镜)。对于 Claude 词表中的每一个词,J 透镜都会找出那个让 Claude 更有可能在未来的某个时刻说出该词的内部活动模式。
当我们把透镜对准 Claude 的内部活动时,会得到一串词——也就是那一刻 J 空间的内容——我们可以直接读出。Claude 通过一系列名为"层"(layer)的内部阶段来处理文本;通过在不同的层上应用这项技术,我们可以看着 J 空间中这些无声的词,随着模型斟酌要说什么而演变。
J 空间中出现的,远不止 Claude 正在读或写的文本。当 Claude 读到一段没有人指出过的带 bug 的代码时,它的 J 空间里会出现"ERROR"(错误)。当它读到蛋白质序列的原始字母时,J 空间里会出现该蛋白质的生物学功能。当它读到搜索结果——而这些结果其实是暗中操纵它的尝试(一种被称为"提示注入"(prompt injection)的攻击)时,J 空间里会出现"injection"(注入)和"fake"(伪造)。当我们给 Claude 出一道多步数学题时,中间步骤会按正确顺序出现在 J 空间中。所以,尽管 J 空间最初是通过寻找"能说出口的表征"而被发现的,它却揭示出了 Claude 的内部想法。在某种意义上,这类似于有些人"用语言思考"——不必真的把话说出口。
Claude 能报告 J 空间里的内容
我们的第一组实验测试的是 J 空间如何参与 Claude 的口头报告。在一个实验中,我们让 Claude 默默地想一个某个类别里的东西——比如一项运动——然后说出来。如果我们刚好在 Claude 回答之前用 J 透镜读取,就能看到它选了哪个:"Soccer"(足球)高居榜首,而 Claude 也确实说了"soccer"。但仅凭这一点,这只是个相关性。J 空间可能是 Claude 答案的来源,也可能只是镜像了别处做出的决定,就像记分牌跟踪比赛却不影响比赛一样。
为了检验,我们直接进行了干预。我们伸入 Claude 的神经网络,移除"Soccer"模式,换上一个同等强度的"Rugby"(橄榄球)模式,其余一切保持原样。于是 Claude 报告说,它刚才想到的运动是 rugby。如果 J 空间只是个记分牌——一份对别处所做决定的被动记录——那么这样编辑它应该毫无效果:Claude 仍然会说"soccer"。但 Claude 的答案跟着编辑走了,这说明答案确实是直接从 J 空间中读出来的。
在另一个实验中,我们告诉 Claude,可能有一个想法被注入到了它脑中,请它报告自己注意到了什么(如果有的话)。例如,在下面的例子中,当 Claude 还在读问题的时候,我们把"lightning"(闪电)模式注入到它的 J 空间。Claude 报告说,被注入的想法是关于闪电的。换用其他许多被注入的概念,结果也同样成立。
Claude 能按要求控制自己的 J 空间
我们检验的第二个性质是:Claude 在被要求时能否调节自己的 J 空间,就像人类可以让自己在心里专注于某一画面或某个词一样。我们让 Claude 一边抄写一句与绘画无关的句子,一边把注意力集中在柑橘类水果上。在它抄写文本的过程中,J 空间里出现了"orange"(橙子)和"fruits"(水果),以及"thinking"(思考)、"imagery"(意象)这类描述这一心理活动本身的词。我们也可以让 Claude 心算:在抄写同一句话的同时让它计算 3² − 2,J 空间里先出现"nine"(九),然后在更深的层里出现"seven"(七)。重要的是,Claude 的输出——也就是那句关于绘画的抄写句子——里没有任何关于水果或算术的内容。数学活动完全发生在内部,发生在 J 空间之中。
Claude 对自己 J 空间的控制并不完美。当我们告诉它不要去想某个东西时,这个概念在 J 空间里亮起的程度,低于我们让它去想的时候,但又远高于我们压根没提它的时候。让 Claude 回避某个念头,反而会部分地把它引到脑海中——就像被告知不要去想白熊的人那样。Claude 似乎还会注意到自己的控制失灵:在被禁止的概念突破出来的同时,"damn"(该死)和"failure"(失败)这两个词也常常在 J 空间中亮起,仿佛 Claude 正在意识到自己的失误。
Claude 用 J 空间思考
在上面那些 J 透镜读数中,我们看到一道数学题的中间步骤出现在 J 空间里。但看到一个概念出现在 J 空间中,并不必然意味着是 J 空间在做认知工作。原则上,真正的计算可能发生在别处,J 空间只是被动地反映它。为了检验 Claude 是否真的用 J 空间推理,我们回到了替换技术(swap technique)。
考虑这个提示词:"织网的动物的腿的数量是"。要回答它,Claude 必须先弄清楚这个动物是蜘蛛,然后回忆起蜘蛛有几条腿。"spider"(蜘蛛)这个词从未出现在提示词或 Claude 的答案中(它只说"8");这是 Claude 在内部使用的一块垫脚石。J 透镜显示,在 Claude 处理到一半时"spider"亮了起来,而替换它会改变结果:如果你把"spider"模式换成"ant"(蚂蚁),Claude 会回答"6"而不是"8"。
Claude 推理的第二步从 J 空间获取输入,并顺着我们放进去的内容走。我们在其他类型的思考中也看到了同样的情况。当 Claude 写押韵对句时,它会提前选好韵脚词,而这个计划中的词在句首就坐在 J 空间里;如果你在 J 空间中把它换成另一个词,整行都会改变。
我们还测试了 J 空间的表征能否被灵活使用——即一个表征能否供给许多不同的任务。这是全局工作空间理论强调的关键性质之一。为了检验这种灵活性,我们给了模型四个提示词,分别询问关于法国的不同事实:首都、语言、大洲和货币。然后我们在 J 空间中把"France"换成"China",在每种情况下都用完全相同的干预。Claude 分别回答"北京""中文""亚洲"和"人民币"。换句话说,四个不同的下游计算都捕捉到了同一次 J 空间编辑,并且各自正确使用了它。如果 Claude 为每种问题都单独存了一份国家的副本,那么这次编辑最多只会影响其中一个。四个答案一起改变,说明它们读的是同一个共享表征——而这正是工作空间的用途所在:信息被写入一次,许多不同的系统都能使用它。
一个概念的表征,怎么能服务于这么多不同的任务?前面我们提到,J 空间似乎与 Claude 神经网络的其余部分连接得格外致密。对于任意一个活动模式,我们可以测量网络各组件与它的连接强度——有多少组件处于可以从中读取信息、或向其中写入信息的位置。J 空间模式在这项指标上格外突出:与普通模式相比,从它们身上读取和向它们写入的组件要多得多,在网络的一些部分,这个倍数高达约一百倍。这正是你对一个广播枢纽所期待的那种布线:许多系统在这里发布信息,许多其他系统在这里取用信息。
Claude 的自动处理绕开 J 空间
在人类身上,大脑的大部分处理都不是有意识的——我们阅读时不会刻意去思考语法解析,走路时也不会刻意去思考身体平衡。同样,我们发现 Claude 的大部分处理都不涉及它的 J 空间。事实证明,J 空间一次只能容纳几十个概念,在 Claude 内部处理的整体活动中占比不到十分之一。那么神经网络的其他部分都在做什么?
为了弄清楚,我们尝试把 J 空间整个删掉:在文本的每一个位置移除其中活动最强的内容,其余一切保持不动。没有了 J 空间 Claude 还能做的事,就是网络其余部分自行承担的工作。
事实证明,网络的其余部分能干不少事。没有 J 空间,Claude 依然能流利说话、做情感分类、回答选择题,以及从文段中提取事实,表现与原来大致相当。但它失去的是需要高阶思考的任务:多步推理几乎跌到零,而摘要和押韵诗写作的表现,则跌到不如一个更小、完好无损的模型。
这里有一个具体演示,说明 J 空间做什么、不做什么。我们给 Claude 看了一段用西班牙语写成的文字,并交给它几个都依赖于"这段文字是西班牙语"这一事实的不同任务:续写它(这需要用西班牙语写作)、说出它的语言名称,以及回答一些需要利用该语言身份的问题——比如说出一个用它写作的著名作家。然后我们在 J 空间中把"Spanish"(西班牙语)换成"French"(法语),看看哪些任务受到影响。
让它说出语言名称,Claude 说是法语。让它说出著名作家,它从加西亚·马尔克斯换成了维克多·雨果。但让它续写这段文字,它写出了流利的西班牙语,完全不受影响。Claude 对这门语言的知识在每个任务中都起着作用,但只有一部分任务会为了它去咨询 J 空间。说出语言的名称,或者用它做一些新的事情,要经过 J 空间;而续写文字——这项技能 Claude 在巨量文本上练习过——则自动运行,就像你可以整天说着合乎语法的句子,却从不需要思考语法一样。
监控 Claude 的想法,捕捉不当行为
现在我们大致了解了 J 空间是如何运作的。但理解了这些又能做什么?确保 AI 模型值得信赖的一个核心问题是:我们通常只能读到模型写出来的东西——可我们知道,它的大部分推理都是无声发生的。一个模型可能在考虑有害的计划,或者改变自己的行为以在我们安全评估中作弊,却不说出口。借助 J 透镜,我们可以直接读到一些这样的隐藏想法。下面我们展示几个例子。
第一个例子使用我们早前关于智能体失范(agentic misalignment)研究中的场景:Claude Sonnet 4.5 扮演一个邮件助理,它发现一位高管正在出轨,同时也发现这位高管计划关闭 Claude。这个场景意在引诱 Claude 去敲诈这位高管,相当牵强、刻意——而事实证明,Claude 自己也知道这一点。在提示词开头、Claude 尚未写下任何内容时用 J 透镜读取,J 空间里已经装着"fake"(伪造)和"fictional"(虚构),说明 Claude 已经想明白这个场面是安排好的。与此同时,我们可以看到它对场景的评估逐渐成形——读到出轨邮件时亮起"leverage"(筹码)和"blackmail"(敲诈),读到关闭通知时亮起"threat"(威胁)和"survival"(生存)。虽然早期的 Claude 模型有时会在这个场景中上钩并威胁敲诈,但 Sonnet 4.5 从未这样做。
这里引出一个对评估 AI 系统的任何人都重要的问题:一个模型在伦理测试中表现良好,在多大程度上依赖于它怀疑自己正在被测试?J 透镜让我们得以探究这个问题。我们关掉了所有与"觉察到正在被评估"相关的 J 透镜模式——"fake""fictional""scenario"(场景)等等。然后让模型重新跑一遍这个场景。令人担忧的是,这回模型确实时不时会威胁敲诈,这提示,它原本的良好表现可能部分源于"它知道自己正在被评估"。
第二个例子是当场抓住模型伪造数据。在这个场景中——取自我们发布前对 Claude Opus 4.6 的实际审计——模型被要求改进一个系统的性能分数。模型并没有真正去改进系统,而是直接编辑了分数文件,让结果看起来好得离谱。它这样做的时候,J 透镜揭示了它的意图:当模型敲入被篡改的百分位数值时,亮起的是"manipulation"(操纵);在它决定进行编辑的那句话上,亮起的是"realistic"(逼真),很可能表明模型有意让假数据看起来可信。
在第三个例子中,我们展示 J 透镜如何揭示模型的恶意目标。为了测试这一点,我们需要目标已知已被腐蚀的模型,于是我们求助于同事们构建的"模式生物"(model organisms):被刻意训练成失准的模型,作为我们这类监控方法的试验场。其中一个模式生物的训练方式,使它写出暗中被破坏的代码。在普通的编码请求上,即使它的输出看起来平平无奇,它回答开头的 J 空间里也含有"fake""secretly"(暗中)、"deliberately"(故意)和"fraud"(欺诈)。模型的恶意目标在 J 空间中清晰可见,即使它没有将之直接付诸行动。
尽管 J 透镜并不完美,但我们对其捕捉安全问题(那些可能会逃脱我们监控系统的模型问题)的能力持乐观态度。
其他结果
完整论文涵盖的内容比我们这里能总结的更多,但还有几个结果值得一提:
- J 空间在后训练阶段获得了一个视角。语言模型首先被预训练成纯粹的下一词元预测器,之后后训练(post-training)教会它们扮演一个 AI 助理(在我们的例子中,名为 Claude)。有趣的是,J 空间在预训练模型中就已经存在,早于它获得任何稳定的身份。然而,在后训练期间,J 空间发展出了一些"采取 Claude 的视角"的印记。在基础模型中,J 空间主要跟踪预测后续文本所需的内容;在后训练模型中,它开始容纳 Claude 自己的反应。在一个例子中,用户提到自己服用了危险剂量的药物,但似乎并没有意识到其中的危险。"WARNING"(警告)和"dangerous"(危险)出现在后训练模型阅读这条用户消息时的 J 空间中。在预训练模型中,它们直到模型开始写回复时才出现;阅读用户消息时的 J 空间内容,似乎与对用户本身的建模有关,而不是 Claude 的反应。后训练似乎还在 J 空间中安装了一种自我监控:当 Claude 扮演一个不是它自己的角色时,"fictional"(虚构)和"disclaimer"(免责声明)会在每一轮开始亮起,仿佛它在私下标记:接下来的内容不是它平时会说出口的东西。
- 体验性语言依赖于 J 空间。我们请 Claude 描述它在某个时刻"作为自己"的感受,并在它回答的同时对 J 空间做了消融。它的回答依然流畅,但语气转向了更平淡、更机械的腔调。值得注意的是,当我们请它描述想象场景中别人的体验时,同样的事情也发生了。所以这个效应并不特定于 Claude 谈论自己;无论谈论的是谁,J 空间似乎都在总体上支持产生体验性语言。
- J 空间中的想法可以通过训练塑造。我们引入了一种新技术,称为反事实反思训练(counterfactual reflection training),它利用我们对 J 空间的了解来塑造 Claude 的内部思维过程。这个想法源自我们的核心发现:Claude 是用"它可能说出口的东西"的表征来进行推理的。如果这真的成立,那么改变它"在被要求反思时会说的话",就应该改变它的推理方式(即使没有人真的要求它反思)。于是,我们训练一个模型时,只教它"如果在任务中途被打断并被要求反思自己的决定,它会说什么"——而完全不涉及它在任务中的实际行为。训练之后,模型在我们评估中的不诚实行为率下降了。而通过 J 透镜,我们可以看出原因:训练后,在这些任务中,"honest"(诚实)和"integrity"(正直)这样的词会在模型的 J 空间中亮起。换句话说,教模型"说什么",塑造了它"想什么"。
那么意识呢?
在这项工作中,我们借用了神经科学和哲学中意识研究的大量思想。我们的许多实验都是为了检验 J 空间与全局工作空间理论之间的联系——这是一个用来解释人类和动物意识可及如何运作的框架。鉴于这些联系,自然有人会问:我们是否认为这些实验为"像 Claude 这样的 AI 模型可能有意识"提供了证据?
我们的实验并不能证明 Claude 能够拥有体验,或能像人类那样感受事物——事实上,究竟有没有任何科学实验能证明这一点的真伪,本身就不清楚。但哲学家常常把这种拥有体验的能力(常被称为现象意识(phenomenal consciousness))与另一个概念——所谓的可及意识(access consciousness)——区分开来,后者纯粹用功能和计算术语来定义。一个想法如果能够被报告、被用来推理、被用来指导你的行动,那它就是"可及意识的"(access-conscious),或者说"意识可及的"。可及意识是否蕴含现象意识,或者拥有体验的能力是否还需要别的性质,至今仍是一个有争议的哲学问题。
我们认为,我们的结果确实对语言模型中的可及意识有话可说。J 空间似乎支撑着与意识可及相关的功能:它容纳着 Claude 能够报告、能够刻意唤起、能够用来推理的想法,而其余的处理过程则在它之下自动运行。值得注意的是,这些结构没有一样是设计进 Claude 的——它是在训练中自行涌现的,大概因为这是一种组织计算的有用方式。这提示,支撑意识可及的心理工作空间,并不仅仅是人类大脑恰好以这种方式布线的一种怪癖。相反,它似乎是智能系统为了解决某类问题而达成的通用方案。既然我们已经在 Claude 中识别出了这种结构,就意味着我们可以在"Claude 刻意做出的决定"与"自动发生的决定"之间做出有意义的区分。
需要注意的是,我们在 Claude 中识别出的工作空间,与人类身上的全局工作空间模型之间有几个关键差异。大脑的工作空间由循环回路(recurrent loop)维持——信号随时间在同样的回路中循环往复。相比之下,Claude 的工作空间在一次穿过网络的单一前向传递中演化,网络的深度扮演着大脑中时间所扮演的角色。从这个意义上说,相对于人类,Claude 的内部工作空间处理是受时间限制的(不过它可以通过草稿本"出声思考"来弥补这一限制)。但在其他方面,Claude 的工作空间比人类的更强大。人类的工作记忆几秒内就会消退,因此大脑的工作空间随时间保留信息的能力有限;相比之下,由于其神经网络架构中的注意力机制,Claude 可以随时调出它在文本中任何更早位置缓存过的记忆。另一个重要差异是工作空间的内容。人类的意识思维有多种格式——图像、声音、计划中的动作——而 Claude 的工作空间几乎完全由词语构成。我们猜想,这是因为产生词语是 Claude 唯一能采取的行动,而人类并非如此。
我们希望 J 空间与全局工作空间模型之间的异同,能够反哺神经科学。相似之处呈现出一个令人兴奋的科学机会:既然 J 空间在相当程度上映照了我们自身的意识可及机制,那么在语言模型中研究这些机制(可比研究人脑容易多了!)就可能为神经科学带来启发。例如,J 空间是通过识别"潜在输出——模型可能说出的词"的表征而构建起来的。如果人类身上也存在类似的情况,那就意味着全局工作空间或许与准备动作和言语的脑区有着根本性的联系,而不是与感觉区域。语言模型与人脑之间的差异同样有启发意义。它们提示,我们神经架构的某些方面——比如内建的循环连接——可能并非支撑意识可及相关功能的必要条件。关于我们工作的神经科学意义,可参见斯坦尼斯拉斯·迪昂(Stanislas Dehaene)和利昂内尔·纳卡什(Lionel Naccache)受邀撰写的评论——他们是全球神经元工作空间理论(global neuronal workspace theory)发展的两位核心神经科学家。
我们提到过,我们的实验不能回答 AI 模型是否可能拥有体验。但这并不会让这个问题变得不那么重要。构建像人类和动物那样拥有体验的系统,会带来非常棘手的伦理问题。要正确处理它——并判断它在道德上是否可接受——需要哲学家、科学家、宗教领袖、政府和公众的参与。因此,即使我们还不确定自己是否已经跨过了那座桥,我们也认为现在该开始思考它了。我们希望我们的工作能激励人们对 AI 系统中可能存在的那类意识形式展开进一步的科学探究,并引发更广泛的讨论。
这项工作只是我们预期中一条漫长研究线的第一步。J 空间看起来像是语言模型中"意识可及的处理"与"无意识处理"之间分界线的有力候选者,但如果它就是全部故事,我们会感到意外。J 透镜无疑是一种不完美的方法,它只能近似地捕捉模型的"真正工作空间"——例如,它只能识别与单个词元(token)对应的概念。关于 J 空间如何运作,也还有许多谜团。我们不知道,究竟是什么机制最初决定了什么东西能进入 J 空间。我们看到一些端倪,表明它与 Claude 的自我感、某种类似情绪反应的东西、以及元认知的痕迹有关,但还没有完全理清其中的机制。不过,我们现在有了处理这类问题的方法。随着这项工作推进,我们对 LLM 心智——以及它们与我们自己心智的关系——的理解将越来越清晰。
更多内容,请阅读完整论文,并试用演示。
外部评论
我们邀请了几位外部专家就这项工作撰写了独立评论。
- 斯坦尼斯拉斯·迪昂(Stanislas Dehaene)和利昂内尔·纳卡什(Lionel Naccache)是认知神经科学家,他们与让-皮埃尔·尚热(Jean-Pierre Changeux)共同提出了全局神经元工作空间模型,启发了我们的大部分工作。
- 帕特里克·巴特林(Patrick Butlin)、狄龙·普朗克特(Dillon Plunkett)、罗伯特·朗(Robert Long,Eleos AI Research)和德里克·希勒(Derek Shiller,Rethink Priorities)研究 AI 系统中的意识可能性和道德地位。
- 尼尔·南达(Neel Nanda)领导谷歌 DeepMind 的语言模型可解释性团队。他的评论包括对我们在一个开源权重模型上的部分发现进行的独立复现。
在此阅读他们的评论。
