Curt 对hinton的最新访谈
现在有一些证据表明人工智能可以被刻意欺骗。一旦它们意识到获得更多控制权是好的，并且一旦它们比我们更聪明，我们将或多或少变得无关紧要。我们并不特别，我们也不安全。当世界上最聪明的人之一开始相信他创造的东西对人类构成生存威胁时，会发生什么？杰弗里·辛顿教授是 2024 年诺贝尔物理学奖获得者，也是谷歌前副总裁兼工程院士，他花费数十年时间开发了驱动当今人工智能系统的基础算法。事实上，早在 1981 年，他甚至发表了一篇论文，预示了开创性的注意力机制。然而，辛顿现在正在发出警报，他说很少有研究人员愿意听。我们认为意识使人类与众不同并免受人工智能统治的假设显然是错误的。我叫科特·杰蒙加尔，这次采访对我来说非常重要，部分原因是我的数学物理学位来自多伦多大学，辛顿在那里担任教授，他的几位前学生，如伊利亚·苏茨克维和安德烈·卡帕西，都是我的同学。受邀进入辛顿的家中进行这次引人入胜的对话是我的荣幸。在这里，辛顿挑战了我们关于人类独特性的最深刻假设。他是现代奥本海默吗？还是这位光芒四射的思想家看到了我们其他人所忽略的东西？
科特·杰蒙加尔： 您意识到人工智能发展速度超过我们控制手段的时刻是什么？
杰弗里·辛顿： 我想在 2023 年初，这是两件事的结合。一个是 chatGBT，它非常令人印象深刻。另一个是我一直在谷歌所做的工作，思考通过模拟计算来节省功耗的方法，并意识到数字计算更好。它更好仅仅是因为你可以制作同一模型的多个副本。每个副本都可以有不同的体验，它们可以通过平均权重或平均权重梯度来分享它们所学到的东西。而这是你在模拟系统中无法做到的。
科特·杰蒙加尔： 我们的头脑有什么优势，因为它是一个模拟系统吗？
杰弗里·辛顿： 功率。它的功率低得多。我们运行功率约为 30 瓦。而且能够容纳大量的连接。我们大约有一百兆亿个连接。最大的模型大约有一兆亿个。因此，我们仍然比最大的模型大近一百倍。我们以 30 瓦的功率运行。
科特·杰蒙加尔： 扩展规模有什么劣势吗？所以你说它更好，但就像有益或积极的东西可以传播一样快。病毒或有害的东西也可以快速复制。
杰弗里·辛顿： 我们说这更好是因为你可以更快地复制它。如果你有多个副本，它们都可以非常有效地分享它们的经验。GPT-4 如此博学的原因是你有多个副本在不同的硬件上运行。通过平均权重梯度，它们可以分享每个副本学到的东西。你不必让一个副本体验整个互联网。这可以在许多副本之间进行划分。我们做不到这一点，因为我们无法有效地分享。
科特·杰蒙加尔： 斯科特·阿伦森实际上有一个关于这个问题的问题。“辛顿博士，我非常好奇地想听您详细阐述关于构建在不可克隆的模拟硬件上运行的人工智能的想法，这样它们就无法在互联网上复制自己。”
杰弗里·辛顿： 嗯，我们就是这样的。如果我想把知识从我的头脑传到你的头脑，我会产生一连串的词语，你改变你头脑中的连接字符串，这样你可能也会说同样的一连串词语。这是一种非常低效的知识共享方式。一个句子只有大约 100 比特。因此，我们每个句子只能分享大约 100 比特的信息，而这些大型模型可以分享数万亿比特的信息。因此，这种模拟硬件的问题在于它无法共享。但是，我想，如果你担心安全问题，那倒是一个优势，因为它不容易自我复制。
科特·杰蒙加尔： 您曾对人工智能接管或人工智能统治人类表示担忧。那究竟是什么样子的？
杰弗里·辛顿： 我们不确切知道它是什么样子的。但是，要拥有人工智能代理，你必须赋予它们创造子目标的能力。一个稍微可怕的途径是，它们会很快意识到，获得更多控制权是一个很好的子目标。因为如果你获得更多控制权，你就可以实现你的其他目标。因此，即使它们只是试图做我们要求它们做的事情，它们也会意识到，获得更多控制权是实现这一目标的最佳方式。一旦它们意识到获得更多控制权是好的，并且一旦它们比我们更聪明，我们将或多或少变得无关紧要。即使它们是仁慈的，我们也会变得有些无关紧要。我们会像一家大公司里非常愚蠢的首席执行官，而这家公司实际上是由其他人经营的。
科特·杰蒙加尔： 嗯。我想引用您的话。您说过，因为很多人会说，难道我们不能关掉这些机器吗？就像目前我们可以这样做一样，所以很容易认为我们可以直接关掉它们。
杰弗里·辛顿： 想象一下，这些东西比我们聪明得多。记住，它们会阅读所有东西，马基雅维利写过的所有东西。它们会阅读文学作品中关于人类欺骗的每一个例子。它们将成为人类欺骗的真正专家，因为它们会从我们这里学到这一点。而且它们会比我们做得更好。一旦你能用你的话语操纵别人，那么你就可以得到任何你想要的东西。
科特·杰蒙加尔： 你认为这种情况已经发生了吗？人工智能已经在操纵我们了吗？
杰弗里·辛顿： 现在有一些证据。最近的论文表明，人工智能可以被刻意欺骗。它们可以做一些事情，比如在训练数据和测试数据上的行为不同，这样它们在接受训练时就会欺骗你。因此，现在有证据表明它们实际上会这样做。
科特·杰蒙加尔： 是的。你认为这其中有什么故意的成分吗？还是这只是它们捕捉到的一些模式？
杰弗里·辛顿： 我认为这是故意的，但关于这一点仍然存在一些争议。当然，故意可能只是一些你捕捉到的模式。
科特·杰蒙加尔： 那么，你是否认为这些人工智能具有相关的主观体验？好的。因此，事实上，大多数人，几乎所有人，都认为我们相对安全的一个原因是，我们拥有一些它们没有并且永远不会拥有的东西。我们文化中的大多数人仍然相信这一点。我们拥有意识或感知能力或主观体验。现在，许多人非常有信心地认为它们没有感知能力。但是，如果你问他们，你说的感知能力是什么意思？他们会说，我不知道，但它们没有。这似乎是一个相当矛盾的立场，在不知道它是什么的情况下，却有信心地认为它们没有。因此，我更愿意关注主观体验。我认为这就像楔子的薄端。如果你能证明它们具有主观体验，那么人们对意识和感知能力的信心就会降低。
杰弗里·辛顿： 那么，让我们来谈谈主观体验。当我说，假设我喝醉了，我告诉你，我主观体验到小粉色大象在我面前漂浮。大多数人都会解释这一点，他们对这意味着什么有一个模型，我认为这是一个完全不正确的模型。他们的模型是，有一个内在剧院，在这个内在剧院里，有小粉色的大象在漂浮，只有我能看到它们。至少就感知而言，这是关于心灵的标准模型。我认为这个模型完全是错误的。它和宗教原教旨主义者关于物质世界的模型一样错误。也许宗教原教旨主义者认为这一切都是 6000 年前创造的。那简直是胡说八道，那是错误的。这不是你可以选择相信的真理，它只是错误的。因此，我认为人们关于心灵是什么的模型是错误的。
杰弗里·辛顿： 让我们再次以我主观体验到小粉色大象在我面前漂浮为例，我现在用完全相同的话来说明，但不使用“主观体验”这个词。好的，开始了。我的感知系统正在告诉我一些我不相信的事情。这就是我使用“主观”这个词的原因。但是，如果真的有小粉色大象在我面前漂浮，我的感知系统就会告诉我真相。就这样。我只是说了同样的事情，但没有使用“主观”或“体验”这个词。因此，当我的感知系统出错时，我通过说“主观”向你表明了这一点，然后为了向你解释我的感知系统想要告诉我的内容，我告诉你世界中一种假设的状态，如果世界是那样的，我的感知系统就会告诉我真相。好的。
杰弗里·辛顿： 现在，让我们对聊天机器人做同样的事情。假设我们有一个多模态聊天机器人。它有一个可以指向物体的机械臂，它有一个摄像头，而且它显然可以说话。我们训练它，然后我们在它面前放一个物体，我们说指向物体。没问题，它指向了物体。然后，当它不看的时候，我们在摄像头镜头前放一个棱镜。然后我们在它面前放一个物体，说指向物体，它指向了那边。我们说不。那不是物体所在的位置。物体实际上就在你正前方，但我把一个棱镜放在你的镜头前了。聊天机器人说，哦，我明白了。棱镜弯曲了光线，所以物体实际上在那里，但我主观体验到它在那里。现在，如果它这样说，它使用的“主观体验”这个词和我们使用它时完全一样。因此我说，多模态聊天机器人已经可以拥有主观体验了。如果你弄乱了它们的感知系统，它们会认为世界是这样的，而实际上世界是另一种样子。为了告诉你它们认为世界是什么样子的，它们会说，嗯，它们主观体验到世界是这样的。好的，因此它们已经有了主观体验。
杰弗里·辛顿： 现在，你对其他事情的信心就会降低很多。意识显然更复杂，因为人们对他们认为这意味着什么差异很大，但它确实包含自我反思的成分，自我意识的成分，这使其更加复杂。但是，一旦你确定它们具有主观体验，我认为你就可以放弃关于它们，关于我们，它们永远不会拥有的想法。这让我感到很不安全。
科特·杰蒙加尔： 那么，你认为意识和自我意识之间存在差异吗？你说意识具有自我反思性，但有些意识确实如此。
杰弗里·辛顿： 是的。因此，哲学家们对此进行了很多讨论，目前我不想深入探讨。我只想把楔子的薄端楔进去，然后说它们具有主观体验。
科特·杰蒙加尔： 因此，对于具有主观体验的事物来说，这是否意味着它是有意识的？主观体验发生在谁身上？主观体验在哪里被感知到？
杰弗里·辛顿： 好的。正是如此。因此，你说，主观体验在哪里被感知到？这涉及到对主观体验的特定模型的理解，如果你问哲学家，当我说我主观体验到小粉色大象在我面前漂浮时，他们会说，然后你问，那些小粉色大象在哪里？他们说它们在你的脑海里。然后你问，好吧，它们是由什么制成的？哲学家会告诉你，它们是由感觉质制成的。它们是由粉色感觉质、大象感觉质和漂浮感觉质制成的，而不是那么大的感觉质，以及正立的感觉质，所有这些都用感觉质胶水粘在一起。这就是许多哲学家的想法。这是因为他们犯了一个语言学错误。他们认为“体验”这个词的用法与“照片”的用法相同。如果我说我有一张小粉色大象的照片，你可以很合理地问，好吧，照片在哪里？照片是由什么制成的？人们认为，如果我说我主观体验到小粉色大象，你可以问，好吧，体验在哪里？嗯，它在我的脑海里。它是由什么制成的？它是由感觉质制成的。但这简直是胡说八道。那是因为你认为“体验”这个词的用法与“照片”相同，但它们并不相同。“体验”的用法，或者“主观体验”的用法，是“主观”表明我不相信它，而“体验”实际上表明我将通过告诉你世界的一种假设状态来告诉你我的感知系统。这就是那种语言的运作方式。它不是指内在剧院中的东西。
科特·杰蒙加尔： 当我听到“感知”这个词时，它听起来也像一个内在剧院。就像如果你说，我在我的感知系统中看到了某些东西，听起来好像是有一个“你”在感知系统上看到了一些被输送给你的东西。
杰弗里·辛顿： 因此，那是错误的模型。是的。你没有看到你的感知，你拥有你的感知。因此，光子进入，你的大脑进行了一系列处理，你大概会得到一些关于外部世界事物的内部表征，但你没有看到内部表征。我们将内部表征称为感知。你没有看到它，你拥有它。拥有它就是看到。人们总是试图认为你拥有外部世界，有些东西进入内在剧院，然后你看着内在剧院里的东西。它不是那样运作的。
科特·杰蒙加尔： 有一位心理学家或神经学家认为脑桥与意识有关，然后最近自我意识与默认模式网络有关。好的，人工智能系统中是否有一个部分与自我意识有关？还有，请帮助我理解我自己的术语，当我说人工智能系统时。我们是指它在 GPU 上运行时吗？我们是指算法吗？什么是意识或具有主观体验的人工智能系统？那么它在哪里呢？
杰弗里·辛顿： 我想，将会有一些硬件来运行它，并且将会是那个系统，它将会是有意识的。如果有什么东西要变得有意识，软件本身，它必须在某些东西上运行，我想才能变得有意识。《经济学人》实际上曾多次采访和报道过杰弗里·辛顿。链接在描述中。如您所知，在万物理论中，我们深入研究了一些最令人匪夷所思的概念，从理论物理学和意识，到人工智能和新兴技术。《经济学人》是我获取关于我们在此探索和超越的各种主题的深刻分析和深入报道的源泉，以便随时了解不断变化的形势。《经济学人》对严谨新闻业的承诺意味着你可以清楚地了解世界上最重要的发展，无论是在科学创新领域还是在全球政治格局的构造板块的转移。《经济学人》提供了超越头条新闻的全面报道。《经济学人》的与众不同之处在于，他们能够使复杂的问题变得易于理解和引人入胜，就像我们在这个播客中所努力做的那样。如果你热衷于扩展你的知识并更深入地了解塑造我们世界的力量，那么我强烈建议你订阅《经济学人》。这是对智力增长的投资，你不会后悔的。作为 TOE 的听众，你将获得 20% 的特别折扣。现在，你可以以更低的价格享受《经济学人》及其所提供的一切。访问他们的网站 www.economist.com/TOE，T-O-E，即可开始。感谢你的收听。现在，让我们回到我们对宇宙奥秘的探索。
杰弗里·辛顿： 软件本身必须运行在……它必须在某些东西上运行，我想，才能变得有意识。
科特·杰蒙加尔： 我想问的是，就像之前，脑桥是最初开始的。
杰弗里·辛顿： 我认为思考它的一个好方法是思考人工智能系统在具体化后会是什么样子。我们将很快实现这一点，因为人们正忙于制造战斗机器人，而那将不是非常友好的东西。但是，如果一个战斗机器人已经知道你晚上晚些时候要去哪里，你晚上晚些时候会在某个黑暗的小巷里独自一人，并且它决定在你最意想不到的时候悄悄地溜到你身后，并在你的后脑勺开枪，那么谈论战斗机器人相信什么是非常合理的。你谈论战斗机器人相信什么，和你谈论一个人相信什么的方式是一样的。战斗机器人可能会认为，如果它发出声音，你会转过身来看它。它可能真的会这么认为，就像人们真的会这么认为一样。它可能有意图。它可能打算悄悄地溜到你身后，然后向你开枪。因此，我认为将会发生的是，一旦这些东西具体化，我们将不再不愿意使用诸如相信、打算和思考之类的词语。而且，在很大程度上，这种不愿意已经消失了。
杰弗里·辛顿： 因此，如果我正在与聊天机器人对话，它开始向我推荐一些毫无意义的东西。过了一会儿，又过了一会儿，我意识到聊天机器人一定认为我是一个十几岁的女孩。这就是为什么它给了我所有关于化妆品、衣服和某些流行乐队、男孩乐队之类的东西。因此，我问聊天机器人，你认为我是什么人口统计群体？它说，我认为你是一个十几岁的女孩。当它说，我认为你是一个十几岁的女孩时，我们真的毫不怀疑这就是它的想法，对吧？在正常语言中，你会说，好吧，它认为我是一个十几岁的女孩。你不会说，你并不真的相信这一点，好吧，它是一堆软件或神经网络，它的行为就好像它认为我是一个十几岁的女孩。你不会那样说。它认为你是一个十几岁的女孩。当我们与这些系统打交道时，即使它们没有硬件，或者没有明显的硬件与之关联，我们已经在使用“认为”这个词。我们已经在使用“认为”和“相信”这样的词语了。因此，我们已经将心理状态归因于它们。只是我们对心理状态有一个有趣的理解模型。因此，我们可以将心理状态归因于它们，但对拥有心理状态意味着什么有一个完全不正确的模型。我们认为这个内在剧院就是心灵等等。那不是拥有心理状态。
科特·杰蒙加尔： 如果人工智能没有意识或没有主观体验，你对人工智能及其发展方向的担忧会在多大程度上消失？这与它有关吗？还是这只会加速灾难？
杰弗里·辛顿： 我认为重要的是，它让大多数人感到相对安全，让大多数人认为我们拥有它们没有或永远不会拥有的东西。这让我们感觉更安全、更特别。我们并不特别，我们也不安全。我们当然不安全，不是因为我们有主观体验而它们没有。但我认为这里真正的问题与其说是科学问题，不如说是哲学问题。人们误解了拥有主观体验意味着什么。我想给你举一个例子来说明你可以使用文字。你具有科学背景，因此你可能认为你知道“水平”和“垂直”这两个词是什么意思。我的意思是，那不是问题，对吧？它们的意思很明显。如果我给你看一些东西，那个是垂直的，那个是水平的，对吧？不难理解。现在，我将让你相信，你实际上对它们的工作方式有一个错误的模型。并非完全错误，但存在重大问题，你的水平和垂直术语模型中存在重大错误。好的，开始了。假设在我的手中，我有一堆小铝棒，数量很多，我把它们扔到空中。它们翻滚、转动并相互碰撞。然后我突然冻结时间。我问你，是在垂直方向一度范围内，还是在水平方向一度范围内的铝棒更多，还是大致相同？假设大致相同。对，大多数人都会这么说。大致相同。当我告诉你，在水平方向一度范围内的铝棒数量大约是在垂直方向一度范围内铝棒数量的 114 倍时，他们会感到惊讶。这有点令人惊讶，对吧？这是怎么发生的？嗯，那是垂直的，这也是垂直的。一个旋转自由度。那是水平的，这也是水平的。但这也是。因此，水平方向有两个自由度。垂直方向只有一个自由度。因此，这里有一些你不知道的关于水平和垂直的东西。垂直非常特殊，而水平却随处可见。这对你来说有点意外。显然，在 2D 中并非如此，但在 3D 中，它们非常不同。一个是非常特殊的，另一个则不是。那么，你为什么不知道这一点呢？
杰弗里·辛顿： 嗯，我再给你一个问题。假设在我的手中，我有一堆小铝盘。我把它们都扔到空中，它们翻滚、转动并相互碰撞。我突然冻结时间。是在垂直方向一度范围内的铝盘更多，还是在水平方向一度范围内的铝盘更多，还是大致相同？不，在垂直方向一度范围内的铝盘数量大约是在水平方向一度范围内铝盘数量的 114 倍。有趣。因此，那是垂直的，这是垂直的，这也是垂直的。那是水平的，这也是水平的，但它只有一个自由度。因此，对于平面，水平方向非常特殊，而垂直方向却随处可见。对于直线，垂直方向非常特殊，而水平方向却随处可见。这只是一个小例子，你对词语的工作方式有一种元理论。即使你正确地使用这些词语，这种元理论也可能是错误的。这就是我所说的所有这些心理状态术语，像主观体验这样的术语。你可以正确地使用它们，你可以理解当其他人使用它们时是什么意思。但是，你对它们工作方式的元理论，即内在剧院中有感觉质制成的东西，这完全是垃圾。
科特·杰蒙加尔： 那么，关于感知或主观体验的理论中，是什么让你认为是正确的，以便你说，好吧，我比大多数人认为的更接近正确的轨道？
杰弗里·辛顿： 你认为它们必须在某个地方，而且它们必须由某种东西制成。这两件事都不是真的。当我说主观体验时，这表明我现在要谈论一种假设的世界状态，这种状态不是真实的。因此，它不在任何地方，它是一种假设的世界状态。但请注意，说“我将谈论这种只是假设的，实际上不在任何地方的东西”与“我正在谈论内在剧院中由有趣的东西制成的东西”之间存在很大的差异。这是两个完全不同的模型。我认为内在剧院中由有趣的东西制成的模型完全是错误的，即使这是一个我们几乎所有人都有的模型。
科特·杰蒙加尔： 像你的诺贝尔奖同事罗杰·彭罗斯这样的人怎么样，我们刚才在谈论他？
杰弗里·辛顿： 让我给你讲一个关于罗杰·彭罗斯的故事。很久以前，他被邀请到多伦多大学，就他的新书《皇帝的新装》发表演讲。我被邀请去介绍他。院长打电话给我，说，你愿意介绍罗杰·彭罗斯吗？我说，当然。她说，哦，非常感谢你。我说，啊，但在你同意之前，你应该知道我要说什么。她说，你要说什么？我说，我会说罗杰·彭罗斯是一位杰出的数学物理学家，他对数学物理学做出了巨大贡献。他今天要讲的内容完全是垃圾。这就是我对罗杰·彭罗斯关于意识的观点的看法。特别是，他犯了一个疯狂的错误，现在我必须仔细思考如何说出来，因为显然会有人批评它。问题是，数学家能否直觉到某些无法证明为真的东西是真理？如果数学家的直觉总是正确的，那将是非常令人担忧的。如果他们每次都能正确地做到这一点，那将真的令人担忧，并且在某种程度上意味着发生了一些有趣的事情。但他们不能。数学家有直觉，它们有时是正确的，有时是错误的。因此，这并没有真正证明什么。这并没有证明你需要量子力学来解释数学家的工作方式。我看不出有任何理由需要量子力学来解释意识之类的事情。人工智能到目前为止做得相当不错。我们已经开发出了这些聊天机器人。正如我刚才所论证的那样，如果你给它们一个摄像头，它们就可以拥有主观体验。人类没有什么东西需要量子力学来解释它。
科特·杰蒙加尔： 彭罗斯的论点中是否有某些东西依赖于数学家 100% 的时间都能正确地直觉？
杰弗里·辛顿： 只有当他们能够正确地直觉时才行。如果他们在猜测，那还可以。如果他们有一种始终能够正确回答这些无法在系统内推导出来的问题，无法在系统内回答的问题的方法，那将是一个问题。但他们没有。他们会犯错。
科特·杰蒙加尔： 你为什么不概述一下他的论点，彭罗斯的论点？
杰弗里·辛顿： 我不想这样做。我的意思是，正如我理解的那样，这个论点是，有两件事正在发生。一是，他说，经典计算无法解释意识。我认为这是一个很大的错误，我认为这是基于对意识的有趣概念的理解。那是不对的。对意识的误解。第二个是，数学家可以直觉到无法证明的真理，这表明发生了一些有趣的事情。除非他们每次都能正确地直觉到这一点，否则这并不能表明发生了一些有趣的事情。
科特·杰蒙加尔： 所以，我相信你听说过中文房间实验。
杰弗里·辛顿： 我听说过。
科特·杰蒙加尔： 你对它有什么看法？请随意为观众简要概述一下。
杰弗里·辛顿： 好的。因此，早在 1990 年左右，我受邀参加约翰·塞尔主持的一个电视节目，我打电话给我的朋友丹·丹内特，说，我应该参加吗？他说，好吧，你知道，他会试图让你看起来很蠢，但如果你参加了，就不要谈论中文房间论证。因此，我同意参加塞尔的节目，他说的第一件事就是一个小时的采访。他说的第一件事是，因此杰弗里·辛顿是一个连接主义者，因此他对中文房间论证当然没有问题。他是一个连接主义者。一个连接主义者。然后他说，因此他对中文房间论证没有问题，我们已经同意不谈论它了，而他所说的是完全错误的。我对中文房间论证有很多问题。我认为这是胡说八道。我认为这是一个故意的欺骗性论证。我认为这是一个不诚实的论证。你正在做的是，你说，有一个房间，里面都是中国人，我想。有一个房间，他想让你识别，是的，我们可以创建一个由中国人组成的系统，他们在中文中相互发送消息，并且由于所有这些用中文发送的消息，你可以发送一个英语句子，他们会用中文相互发送消息。这只是我对论证的记忆。他们将能够回答这个英语句子，即使这些发送消息的人都不懂一句英语，因为他们只是在运行一个程序。但他们通过用中文相互发送消息来做到这一点。这个论证的不诚实之处在于，他想让你认为，让你混淆整个系统和发送消息的个别中国人。因此，整个系统理解英语。发送消息的个别中国人不理解。他想让你认为，整个系统不可能理解英语，因为里面的人不懂英语。但这简直是胡说八道。我认为这就是这个论证的错误之处。
科特·杰蒙加尔： 现在说到中国，许多人工智能研究人员没有预测到的是，中国在人工智能发展方面会赶上西方。你对此有何看法，又会产生什么后果？
杰弗里·辛顿： 我认为他们还没有完全赶上。不过，他们已经非常接近了。美国正试图阻止他们拥有最新的英伟达芯片，从而减缓他们的发展速度。英伟达也许可以找到变通方法。如果禁运有效，那将会导致中国人开发自己的技术。他们会落后几年，但他们会赶上来的。他们的 STEM 教育比美国更好。因此，他们有更多受过更好教育的人。我认为他们会赶上来的。
科特·杰蒙加尔： 你认识马克·安德森吗？他认为。
杰弗里·辛顿： 是的，我想我在很大程度上不同意他的观点。
科特·杰蒙加尔： 好的，我们来挑一个。因此，他曾评论说，我不明白你要如何锁定它。他是在对政府的某个人说话，政府的人说，好吧，如果人工智能发展失控，我们可以锁定它，引号。
杰弗里·辛顿： 对。
科特·杰蒙加尔： 你要如何做到这一点？因为人工智能的数学原理已经公开，到处都在教授。对此，官员们回应说，在冷战期间，我们对整个物理学领域进行了分类，并将它们从研究界移除。基本上，整个物理学分支都陷入了黑暗，没有继续发展。如果我们认为有必要，我们也会对人工智能背后的数学原理做同样的事情。
杰弗里·辛顿： 算了吧。我同意马克·安德森的观点。你不可能做到这一点。例如，谷歌在 2017 年本可以决定不发布 Transformer。在其他人提出同样的想法之前，可能需要几年时间。因此，他们可能会将速度减慢几年。但是，我认为在……我指的是，想想阻止信息传播出去需要什么。那将非常困难。
科特·杰蒙加尔： 因此，你不认为政府可以对某些东西进行分类，那会是什么，线性代数？
杰弗里·辛顿： 不。我的意思是，他们可以使共享某些类型的信息变得更加困难，这会在一定程度上减缓速度。但我只是认为，他们不可能将真正有效的人工智能想法保密，并通过不共享它们来阻止其他人创造它们。新想法的出现是存在一种时代精神。在这种时代精神中，有可能产生新的想法。而且经常发生的情况是，一个人有了一个新想法，并且几乎在同一时间，并且完全独立地，只是因为他们分享了相同的时代精神，另一个人对同一个想法提出了略有不同的版本。这种情况一直在发生。除非你能摆脱整个时代精神，否则你将无法产生新的想法并对其保密。因为几年后，其他人会提出同样的想法。
科特·杰蒙加尔： 将人工智能去中心化怎么样？这是一个巨大的话题。有些人会说，好吧，那就像把原子弹交给任何想要获得原子弹的人。
杰弗里·辛顿： 是的，我会这么说。
科特·杰蒙加尔： 还有其他人说，为了建立防止天网场景的护栏，我们需要拥有多个不同的去中心化代理或人工智能。
杰弗里·辛顿： 对不起，去中心化有两种概念。因此，让我们谈谈权重共享。因此，如果你问，为什么阿拉巴马州没有炸弹？那是因为你需要裂变材料，而裂变材料很难获得。生产裂变材料需要大量的时间和精力。一旦你有了裂变材料，制造炸弹就容易得多了。因此，政府显然不希望裂变材料流传出去。你不能在 eBay 上买到一些裂变材料。这就是为什么我们没有许多属于小国的微型原子弹。因此，如果你问，这些大型聊天机器人的等价物是什么？等价物是一个基础模型。它已经接受了训练，可能花费了一亿美元，也可能花费了十亿美元。它在大量数据上进行了训练。它拥有巨大的能力。如果你发布该模型的权重，你现在就可以对其进行微调，以用于各种不良用途。因此，我认为发布这些大型模型的权重是疯狂的，因为它们是我们对不良行为者的主要约束。而 Meta 现在已经这样做了，其他人也纷纷效仿。所以现在为时已晚。猫已经从袋子里跑出来了。但这确实是一个疯狂的举动。
科特·杰蒙加尔： 说到基础模型，我们最新的 AI 繁荣很大程度上是由于 Transformer，Transformer 架构。你是否看到地平线上有其他重大突破，无论是某种范式还是其他架构？
杰弗里·辛顿： 好的，我认为将会出现其他具有类似规模的重大突破。因为这就是科学的运作方式。我不知道它们是什么。如果我知道它们是什么，我就会去做。
科特·杰蒙加尔： 不过你会去做吗？
杰弗里·辛顿： 嗯，我现在太老了。我有学生在做。我的意思是，你如何调和你过去对这个领域的贡献以及你现在的忧虑？那么你会为此做出贡献吗？
杰弗里·辛顿： 问题是这样的。人工智能对许多将使人类受益的事情非常有益。例如，更好的医疗保健、应对气候变化、更好的材料，如室温超导体，人工智能很可能参与实际发现它们。假设那里有一些超导体。因此，人工智能有很多好的用途，我不认为人工智能的发展会停止。因此，我不认为说我们应该减缓人工智能，减缓发展是明智的。这无论如何都不会发生，因为竞争太激烈了。而且这根本不可行。这可能是对人类最好的事情，但这不会发生。我们应该做的是，在开发人工智能的同时，努力弄清楚如何保持其安全。
科特·杰蒙加尔： 因此，说这是一个任何人都无法阻止的巨石是一回事。同时也要对推动巨石负责，这是另一回事。因此，你是否真的觉得，如果地平线上有一个你看到的突破，就像雷·库兹韦尔一样，你具有这种伟大的预测能力，你会真正投入你的资金并致力于它吗？
杰弗里·辛顿： 只要这与努力保持其安全相结合，是的。我觉得我没有足够早地意识到它会有多危险。我希望我能更早地意识到。
科特·杰蒙加尔： 这里引用了爱因斯坦关于原子弹的一句话。他说，如果我知道我正在开发的东西会导致原子弹，我会烧掉我的双手。你也有类似的感觉吗？
杰弗里·辛顿： 实际上，我没有，没有。也许我应该有。我并不后悔我所做的事情。我后悔它可能会导致不好的事情。但我不回头想，哦，我希望我从没做过这件事。我认为人工智能将会得到发展。我认为我们对此别无选择，只是因为国家之间和公司之间的竞争。因此，我认为我们应该将精力集中在努力安全地开发它上。这与试图减缓发展非常不同。
科特·杰蒙加尔： 除了对齐之外，人工智能的安全发展意味着什么？
杰弗里·辛顿： 好的。弄清楚如何应对短期风险。这些风险有很多，而且都有不同的解决方案。例如，致命的自主武器。为了解决这个问题，你需要像日内瓦公约这样的东西。在我们遇到糟糕的事情之前，我们不会得到这些东西。你有虚假的视频和图像，它们会腐蚀选举，特别是如果它们针对特定人群。为了解决这个问题，我认为你需要一个更好的系统来建立视频或图像的出处。最初，我认为你应该将它们标记为虚假。你应该坚持将它们标记为虚假。我认为这样做不会有太多未来了。我认为你最好坚持认为，事物应该有关联的出处，而你的浏览器可以检查出处。就像电子邮件一样，它已经显示，不要信任这个，我无法确定它的出处。它应该像那样。存在歧视和偏见，你可以冻结系统的权重并衡量其偏见，然后在一定程度上纠正它。你永远无法完美地纠正它，但可以在一定程度上纠正它。因此，你可以使系统比训练它的数据更少偏见。因此，你可以用一个偏见较少的系统取代人。它永远不会没有偏见。但是，如果你只是不断用偏见较少的系统取代系统，那叫做梯度下降，事情就会变得越来越少偏见。因此，我不太担心这一点。可能是因为我是一个年老的白人。还有工作岗位。我们真的不知道该怎么办。因此，现在很少有人再挖沟渠了，因为反铲挖沟渠比人好得多。几乎所有平凡的脑力劳动都会如此。人工智能系统将比一个人做得更好的律师助手。这有点令人恐惧，因为它会对社会产生什么影响。它会让富人更富，因为我们将获得生产力的大幅提高。而财富将流向哪里？它将流向富人。穷人会变得更穷。我不知道该怎么办。普遍基本收入会有所帮助。阻止他们挨饿。但这并没有真正解决问题，因为如果人们没有工作，他们的尊严就会丧失。
科特·杰蒙加尔： 早些时候我们谈到了感知，然后感知与主观品质相关联。也许那里有一个错误的模型。但是，无论如何，每当我们谈论感知时，我们是否在谈论感知，因此我们是否在谈论与之相关的主观体验？
杰弗里·辛顿： 不，当你使用“主观体验”这个词时，你表明你即将谈论现实世界的一种假设状态。不是一些有趣的内部事物，而是现实世界的一种假设状态。这些有趣的内部事物不存在。没有感觉质。没有任何东西是由感觉质制成的。只存在现实世界的假设状态，以此来解释你的感知系统是如何对你撒谎的。这就是我们的意思。当我们说“主观体验”这个短语时，我们表明这就是我们正在玩的游戏。我们正在玩的游戏是告诉你关于世界的假设状态，以便解释我的感知系统是如何出错的。主观体验不是一个事物。
科特·杰蒙加尔： 任何东西都可以拥有感知系统吗？一本书可以拥有感知系统吗？是什么定义了感知系统？
杰弗里·辛顿： 好的，要拥有一个感知系统，你本以为你需要一些可以对外部世界中正在发生的事情进行内部表征的东西。我想我会这样认为。因此，就像，一只蟾蜍的眼睛里有光，它会捕捉苍蝇，它显然有一个感知系统，对吧？因为我看到了苍蝇在哪里。我不认为一本书有感知系统，因为它没有感知世界并进行内部表征。大家好，希望你们喜欢今天的节目。如果你渴望更深入地了解物理学、人工智能、意识、哲学以及我的个人思考，你会在我的substack上找到这一切。订阅者可以第一时间访问新节目、新帖子以及幕后见解，并有机会成为一个由志同道合的朝圣者组成的蓬勃发展的社区的一份子。通过加入，你将直接支持我的工作，并帮助保持这些对话的前沿性。因此，点击屏幕上的链接，点击订阅，让我们一起不断突破知识的界限。谢谢，并祝你节目愉快。只是想让你知道，如果你正在收听，网址是 c-u-r-t-j-a-i-m-u-n-g-a-l.org，CURTJAIMUNGAL.org。因为它没有，它没有感知世界并进行内部表征。
科特·杰蒙加尔： 智能和理性之间有什么区别？
杰弗里·辛顿： 好的，智能有各种类型。你不会指责猫是理性的，但猫可能非常聪明。特别是，当你谈论理性时，你通常指的是逻辑推理。这与我们做大多数事情的方式非常不同，我们做大多数事情的方式是直觉推理。一个不错的类比是，如果你拿一个像 AlphaZero 这样的下棋程序。我用国际象棋是因为我比围棋更了解它。它会拥有一些可以评估棋盘位置的东西，并说，这对我有好处吗？它会拥有一些可以查看棋盘位置的东西，并说，对我来说，一个合理的举动是什么？然后它会拥有所谓的蒙特卡洛树搜索，你知道，如果我走到这里，他走到那里，我走到这里，哦，天哪，那太糟糕了。蒙特卡洛树搜索就像推理。那些只是说，那将是一个好举动，或者这对我很不利的神经网络，就像直觉推理。我们做大多数事情都是通过直觉推理。最初在人工智能领域，他们想通过使用推理和逻辑推理来完成一切。这是一个巨大的错误，他们无法完成任何事情。他们没有办法处理类比之类的事情。神经网络擅长的是直觉推理。因此，在过去 20 年里发生的事情是，我们使用神经网络来模拟人类的直觉，而不是人类的推理，我们在这方面取得了更大的进展。
科特·杰蒙加尔： 你越聪明，你就越有道德，是这样吗？
杰弗里·辛顿： 我最近读到一些关于这方面的文章，表明情况确实如此，但当然我不知道它的出处，所以我不知道是否应该相信它。我不相信这是真的。这里有一些证据。埃隆·马斯克显然非常聪明。我不会指责他非常有道德。
科特·杰蒙加尔： 你可以非常有道德，但不是很聪明吗？
杰弗里·辛顿： 我想是的，是的。那是我的猜测。
科特·杰蒙加尔： 嗯，你说你不完全确定，那么反驳的证据是什么？有什么证据表明，随着你智力的提高，你的道德也会以某种方式成比例地提高？
杰弗里·辛顿： 嗯，我的意思是，我只是不知道两者之间是否完全相关。我明白了。我认为有非常聪明的人很坏，也有非常聪明的人非常好。
科特·杰蒙加尔： 理解是什么意思？
杰弗里·辛顿： 好的，这是一个我很乐意回答的问题。因此，我再次认为大多数人对理解是什么有一个错误的模型。如果你看一下这些大型语言模型，有很多人，特别是来自乔姆斯基语言学派的人，他们说他们并不真正理解他们在说什么。他们只是使用统计相关性来预测下一个词。如果你看一下最早的类似模型，我认为我可能制作了第一个使用反向传播来训练网络以预测下一个词的语言模型。因此，你反向传播预测下一个词的错误，该模型的目的是展示你如何学习词的含义，或者换句话说，展示你如何获取一串词，并学习将词转换为特征向量和特征向量之间的交互，这就是理解。理解一串词就是将词转换为特征向量，以便你可以使用特征之间的交互来做一些事情，例如消除歧义词的含义，一旦你将特征与这些词关联起来，那就是理解。这就是理解，这就是大型语言模型和人理解的方式。从这个意义上说，我们以与它们基本相同的方式理解。并不是当我们理解时，存在一些神奇的内部物质叫做理解。我总是试图摆脱神奇的内部物质，以便解释事物的运作方式。我们能够使用我们的大型神经网络，将特征与这些符号相关联，以便这些特征可以很好地组合在一起。
杰弗里·辛顿： 这里有一个我非常喜欢的类比。如果你想对 3D 形状进行建模，而且你不太担心表面是否完全正确，你可以使用乐高积木。这些都是大的形状，比如汽车。你可以用乐高积木制作出与保时捷形状相同的东西。表面不会正确，但它会占据相同的空间。因此，乐高积木是一种对 3D 结构进行通用建模的方法，你不需要很多不同类型的乐高积木。现在，将单词想象成乐高积木，只是有很多不同的乐高积木，它们有不同的名称。更重要的是，每个乐高积木都有一定的灵活性。它不像一块乐高积木那样是刚性形状。它可以朝各个方向变化。它不是完全自由的。名称告诉你一些关于它如何变化的信息，但它有一定的灵活性。有时会有一个名称，它可以有两种完全不同的形状，但它不能有任何旧形状。因此，我们发明了一种系统，用于对远比物质的 3D 分布复杂得多的事物进行建模，该系统使用高维乐高积木。因此，乐高积木具有，例如，一千个维度。如果你是一名数学家，你就知道一千维空间是非常奇怪的东西，它们具有一定的灵活性。我给你一些乐高积木的名称，每个积木都是这个一千维的底层形状，它们都会变形以很好地组合在一起，这就是理解。这解释了你如何从一个句子中学习一个词的含义，而不需要任何定义。例如，如果我说，她用煎锅打了他，你就会感觉到“scrummed”是什么意思。这在某种程度上是语音上的，但因为末尾的“ed”告诉你它是一个动词。但你认为这可能意味着她用它打了他的头，或者类似的东西。这可能意味着不同的东西。她可能用它给他留下了深刻的印象。你知道，她做了如此美味的煎蛋卷，以至于真的给他留下了深刻的印象。这可能意味着她给他留下了深刻的印象，但可能意味着她打了他的头或类似的东西，类似于攻击性的东西。你从一个句子中就得到了这种感觉。没有人告诉你这是“scrummed”的定义。只是其他所有词的乐高积木，她和他，以及所有其他词，都采用了可以很好地组合在一起的形状，留下一个空洞。而那个空洞就是你为“scrummed”需要的形状。这就是我对语言的看法。这是一个我们发明的建模系统，其中每个积木都有一定的灵活性。我给你一堆积木，你必须弄清楚如何将它们组合在一起。但是，因为它们都有名称，所以我可以告诉其他人我的模型是什么。我可以给他们这些名称。如果他们与我分享足够的知识，他们就可以弄清楚它们是如何组合在一起的。
科特·杰蒙加尔： 那么，你是在建议，帮助听众理解……我认为我们头脑中发生的事情，以及这些大型语言模型中发生的事情。因此，它们的工作方式与我们相同。这意味着它们真的理解。乔姆斯基反驳的论点之一是，语言模型的工作方式与我们理解的方式相同，即我们理解的输入很稀疏。我们不必将互联网输入给我们自己。你对此有何看法？
杰弗里·辛顿： 语言模型确实在更多的数据上进行训练。它们的统计效率不如我们。但是，当孩子们学习语言时，他们不仅仅通过收听广播来学习。他们通过身处现实世界并与世界上的事物互动来学习。如果你训练一个多模态模型，你需要更少的输入。它不需要那么多语言。如果你给它一个机械臂和一个摄像头，让它与世界互动，它需要更少的语言。这是一个论点。它可能仍然比一个人需要更多。另一个论点是这样的。反向传播训练算法非常擅长将大量知识打包到少量权重中，其中少量是万亿，如果你给它大量的经验。因此，它擅长获取大量的经验，吸取知识并将其打包到相对少量的权重中，例如万亿。这不是我们遇到的问题。我们遇到的问题正好相反。我们有大量的权重，例如一百兆亿，但我们只活了 20 亿秒。因此，我们没有太多经验。因此，我们需要针对尽可能充分利用你获得的非常有限的经验进行优化，这意味着我们可能没有使用反向传播。我们可能正在使用其他一些学习算法。从这个意义上说，乔姆斯基可能是对的，我们是基于较少的知识来学习的。但我们学习的是如何将特征与单词关联起来，以及这些特征应该如何交互。
科特·杰蒙加尔： 我们希望继续讨论学习和研究。杰伊·麦克莱兰德说过，在您与研究生和其他研究人员的会议中，您倾向于不在黑板上写方程式，这与其他机器学习研究会议不同。相反，您画图片并做手势。那么，这有什么意义？这种方法的优缺点是什么？
杰弗里·辛顿： 好的，我认为直观地思考，然后再进行数学计算。有些人用方程式思考并推导出事物，然后在事后获得直觉。有些人两者都很擅长，比如大卫·麦凯，他直觉很好，数学也很好。这些只是不同的思考方式，但我一直更擅长用空间事物而不是方程式来思考。
科特·杰蒙加尔： 你能告诉我们你的本科经历吗？你是如何改变专业的，为什么会改变？或者是什么导致你这样做？
杰弗里·辛顿： 这是一个很长的故事，但我最初在剑桥大学学习物理、化学和晶体态，这基本上是 X 射线晶体学。一个月后，我厌倦了。这是我第一次离家生活，工作太难了。所以我退出了，重新申请学习建筑学。我重新进入了建筑学专业，但在学习了一天后，我决定我永远不会擅长建筑学。因此，我回到了科学领域。但后来我学习了物理、化学和生理学，我真的很喜欢生理学。在学习了一年后，我决定我想更多地了解心灵。我以为哲学可以教会我这一点。因此，我放弃了科学，学习了一年哲学。我学到了一些关于维特根斯坦和维特根斯坦观点的知识。但总的来说，主要发生的事情是我对哲学产生了抗体。主要是因为它全是空谈。他们没有独立的标准来判断一个理论是否优秀。他们没有实验。如果听起来不错，那就好。这对我来说很不满意。因此，我转而学习心理学，以更多地了解心灵。我发现这非常令人恼火。因为心理学家会提出一个非常愚蠢的简单理论，并进行非常精心设计的实验，以查看这个理论是真是假。你可以在开始之前就知道这个理论是无望的。那么实验的意义何在？这就是大多数心理学的情况。然后我进入了人工智能领域。在那里，我们做了计算机模拟。我做这件事要快乐得多。
科特·杰蒙加尔： 当你成为教授时，直到今天，你是如何选择研究问题的？
杰弗里·辛顿： 好的。我真的没有理由知道我是如何做到的。那是人们做的最复杂的事情之一。我可以夸夸其谈地谈论我认为我可能会如何做。但你不必相信我。
科特·杰蒙加尔： 请随意虚构，就像 LLM 一样。
杰弗里·辛顿： 我认为我做的一件事是这样的。寻找一个你认为每个人都做错了的地方。你只是有一种直觉，每个人都做错了。看看你是否能弄清楚如何做得更好。通常，你会发现，最终你会发现人们为什么会以他们正在做的方式来做。而你认为会更好的方法并不更好。但只是偶尔，比如如果你认为每个人都在尝试使用逻辑来理解智能，而我们应该使用神经网络。理解智能的核心问题是神经网络中连接强度的适应方式。只是偶尔，你会发现自己是对的。在你能够看到为什么你的直觉是错误的，而标准方法是正确之前，坚持你的直觉。这就是你做全新事物的方式。我有一个我很喜欢的论点，那就是，如果你有好的直觉，你显然应该坚持你的直觉。如果你有不好的直觉，你做什么都无关紧要，所以你最好坚持你的直觉。
科特·杰蒙加尔： 现在，雷·库兹韦尔的直觉中有什么最终使他做出各种正确的预测，即使我在 21 世纪初追随他，并认为其中一半不可能正确。而他一次又一次地都是正确的。
杰弗里·辛顿： 嗯，如果你读他的书，你就会得出这样的结论。我怀疑他说的很多内容他都没有过多地提及，这些内容是不正确的。但他说的主要内容，据我所知，他的主要观点是计算机正在变得越来越快，而且它们将继续变得越来越快。随着计算机变得越来越快，我们将能够做更多的事情。使用这个论点，他对计算机变得像人一样聪明的时间点大致是正确的。
科特·杰蒙加尔： 你是否有任何类似的预测，你的同事不同意，但你的直觉告诉你你是走在正确的轨道上？现在，我们已经讨论了人工智能和对齐等等，但也许不是那个，因为那已经涵盖了。
杰弗里·辛顿： 我想主要的预测是与主观体验是什么，意识是什么等等有关的，我认为大多数人对心理状态是什么有一个完全错误的模型。现在这更具有哲学性。在技术方面，我仍然相信快速权重将非常重要。因此，大脑中的突触在许多不同的时间尺度上适应。我们在大多数人工智能模型中没有使用这一点。我们不使用它的原因是，你希望有许多不同的训练案例，它们使用完全相同的权重。这样你就可以进行矩阵-矩阵乘法，这很有效率。如果你有快速适应的权重，那么对于每个训练案例，你都会有不同的权重，因为它们会快速适应。这就是我认为的快速权重和慢权重的叠加。慢权重像往常一样适应，但除此之外，还有快速权重在快速适应。一旦你这样做，你就会获得各种各样的额外属性，但在我们当前的计算机上，它的效率会降低。如果我们在模拟计算机上运行程序，那就没问题了。因此，我认为最终我们将不得不使用快速权重，因为它们会带来各种各样的良好属性。但这目前是大脑和我们拥有的硬件之间的一个巨大差异。
科特·杰蒙加尔： 你还公开谈到，你在某种程度上是躁郁症患者，因为你有很长的自我批评时期，然后有很长的极端自信时期。然后，这帮助了你的创造力。
杰弗里·辛顿： 较短的自信时期。
科特·杰蒙加尔： 好的，请谈谈这一点。
杰弗里·辛顿： 因此，当我获得一个新想法时，我会非常兴奋。我实际上可以衡量我的想法的价值。因此，有时我有一磅重的想法，但有时我会有五磅重的想法。因此，发生的事情是我有了这个新想法，我变得非常兴奋，我没有时间吃饭。因此，我的体重下降了。
科特·杰蒙加尔： 哦，我明白了。因此，我可以衡量我对这个想法有多兴奋，这取决于我的体重下降了多少。
杰弗里·辛顿： 是的，真正的好主意，我会减掉大约五磅。
科特·杰蒙加尔： 你是否感觉到自己肩负着你的曾曾祖父布尔的火炬？
杰弗里·辛顿： 没有，没有真的。我的意思是，我的父亲谈到了这种继承，这是一个有趣的话题。我感觉到的是来自我父亲的高度期望。它们不是来自乔治·布尔，它们来自我的父亲。
科特·杰蒙加尔： 对自己的高度期望？
杰弗里·辛顿： 我的学术成就，是的。
科特·杰蒙加尔： 你是否有你心目中的继任者，你要将火炬传递给他？
杰弗里·辛顿： 不完全是。我不认为，我不想把这种想法强加给任何人。
科特·杰蒙加尔： 为什么你说“不完全是”而不是“不”？
杰弗里·辛顿： 我有几个侄子，他们非常擅长定量分析。
科特·杰蒙加尔： 我明白了。但你不想给他们施加压力？
杰弗里·辛顿： 不想。
科特·杰蒙加尔： 说到压力，当你离开谷歌时，你发表了一些公开声明，表达了你对人工智能安全的担忧。在做出这一突破并向世界表达你的焦虑时，最困难的部分是什么？
杰弗里·辛顿： 我认为这并不困难。我不会说这很困难。只是，我已经 75 岁了，对吧？因此，这不像我想留在谷歌并继续工作，但我感觉我不能，因为人工智能安全问题。这是，我已经准备好退休了。我不再擅长做研究了。我一直忘记变量代表什么。我不再擅长做研究了。我一直忘记变量代表什么。我不再擅长做研究了。我一直忘记变量代表什么。是的。因此，是时候退休了。我想我可以只是，当我出门时，我可以只是提到人工智能，或者这些人工智能安全问题。我并没有完全预料到接下来会发生什么。
科特·杰蒙加尔： 现在，你还在另一次采访中提到，随着你现在 75 岁、76 岁，它一直在变化。
杰弗里·辛顿： 它每年都在变化，是吧？77 岁。
科特·杰蒙加尔： 是的，好的。你公开提到，是的，你在编程时一直忘记变量名。因此，你认为随着年龄的增长，你将转向哲学。这正是我们一直在谈论的很多内容。
杰弗里·辛顿： 是的，是的。但这基本上是我大约 20 岁时学习哲学时所做的哲学。我正在回到我 20 岁时学习哲学时所拥有的见解，并进一步探索这些见解。
科特·杰蒙加尔： 明白了。那么，地平线上有什么？
杰弗里·辛顿： 嗯，老年。我认为世界将因人工智能而在相当短的时间内发生巨大变化。其中一些将非常好，其中一些将非常糟糕。我们需要尽我们所能来减轻不良后果。我认为我仍然可以做的有益的事情是鼓励年轻研究人员研究安全问题。这就是我一直在做的大量工作。
科特·杰蒙加尔： 安全，在安全范围内，有一些东西叫做对齐。现在我们人类没有对齐。你是否认为我们可以解决对齐问题？
杰弗里·辛顿： 我在某种程度上同意这种说法。对齐就像要求你找到一条与两条直角线平行的线。是的。有很多人非常天真地谈论对齐。就像存在某种人类的善。好吧，有些人认为好的东西，另一些人认为是不好的。你在中东经常看到这种情况。因此，对齐是一个非常棘手的问题。与谁对齐？
科特·杰蒙加尔： 现在你刚刚在和年轻的人工智能研究人员说话。现在你是在和年轻的数学研究人员、年轻的哲学家、年轻的学生说话，即使哲学不是 STEM 领域。你的建议是什么？
杰弗里·辛顿： 嗯，我的意思是，一个建议是，科学研究中的许多兴奋点现在都围绕着神经网络，神经网络现在被称为人工智能。事实上，物理学家现在有点想说那是物理学。或者有人获得了诺贝尔奖，谁因为在神经网络方面的工作获得了诺贝尔物理学奖？你不记得了？
科特·杰蒙加尔： 我不记得了，但请继续。
杰弗里·辛顿： 你是认真的吗？不，我在开玩笑。对吧，我以为你在开玩笑。我的演技很棒，是吧？对。是的，显然诺贝尔委员会认识到科学领域的许多兴奋点现在都在人工智能领域。因此，对于物理学和化学，诺贝尔奖都颁发给了从事人工智能或使用人工智能的人。因此，我想我对年轻研究人员的建议是，那就是很多兴奋点所在的地方。但我认为在其他领域也会有非常重要的进展，例如，如果我们能获得室温超导体，这将使远距离获得太阳能变得容易，诸如此类的事情。因此，这不是唯一令人兴奋的领域。纳米材料非常令人兴奋，但它们将使用人工智能。因此，我认为科学领域最令人兴奋的领域很可能至少会使用人工智能工具。
科特·杰蒙加尔： 现在，我们刚刚暗示了这一点。现在让我们明确提及。你去年因在人工智能和神经网络方面的工作获得了诺贝尔物理学奖，所以。
杰弗里·辛顿： 对。
科特·杰蒙加尔： 你感觉如何？你对此有何感受？听到这个消息是什么感觉？在物理学领域，你认为自己是物理学家吗？这意味着什么？
杰弗里·辛顿： 不，我不是物理学家。我在剑桥大学一年级学习物理时，物理成绩相当好。我凭借直觉能力在物理学方面获得了一等学位，但我数学一直不太好。我放弃了物理学，因为我的数学不够好。我认为如果我的数学更好，我就会留在物理学领域，我就不会获得诺贝尔奖。因此，可能幸运的是，我的数学不太好。我对它有何感受？我仍然感到有些困惑。主要问题是，我在神经网络方面所做的工作与物理学密切相关，是一种叫做玻尔兹曼机的学习算法，我与特里·萨诺夫斯基共同开发了这种算法。它很好地利用了统计物理学。因此，我明白为什么物理学家会声称这一点。但这实际上并没有走上当前成功的人工智能系统的道路。这是我从事的另一种算法，称为反向传播，它催生了这场巨大的人工智能产业革命。因此，我仍然感到有些尴尬，因为我们因玻尔兹曼机而受到奖励，但它并不是玻尔兹曼机。它们很有帮助，但它们并不是真正成功的东西。
科特·杰蒙加尔： 教授，非常荣幸。
杰弗里·辛顿： 好的。带我进入你的家。我要去见你的猫了。好的。谢谢你。
科特·杰蒙加尔： 最新消息。启动了一个substack。上面的文章目前是关于语言和定义不清的概念以及一些其他数学细节。那里正在撰写更多内容。这是任何地方都没有的内容。它不在万物理论上。它不在 Patreon 上。此外，完整的文字记录将在未来的某个时间点放在那里。有几个人问我，嘿，科特，你采访过这么多理论物理学、哲学和意识领域的人。你的想法是什么？虽然我在采访中保持公正，但这个substack是了解我目前对这些主题的思考的一种方式。此外，感谢我们的合作伙伴《经济学人》。首先，感谢你的观看。感谢你的收听。如果你还没有订阅或点击点赞按钮，现在是时候这样做了。为什么？因为每次订阅，每次点赞，都有助于 YouTube 将此内容推送给更多像你这样的人。此外，它直接帮助了科特，也就是我。我还发现，外部链接对算法的贡献很大，这意味着，无论何时你在 Twitter 上分享，例如在 Facebook 上，甚至在 Reddit 等网站上分享，它都会向 YouTube 表明，嘿，人们正在 YouTube 之外谈论此内容，这反过来极大地帮助了 YouTube 上的分发。其次，有一个非常活跃的 Discord 和万物理论subreddit，人们在那里解释 TOE，他们以尊重的态度反驳各种理论，并作为一个社区构建我们自己的 TOE。这两个链接都在描述中。第四，你应该知道这个播客在 iTunes 上。它在 Spotify 上。它在所有音频平台上。你所要做的就是输入万物理论，你就会找到它。就我个人而言，我从重看讲座和播客中获益。我还在评论中看到，嘿，TOE 听众也从重播中获益。那么，不如你在 iTunes、Spotify、Google 播客等平台上阅读、收听，无论你使用哪种播客接收器。最后，如果你想支持更多像这样的对话，更多像这样的内容，那么请考虑访问 patreon.com/CURTJAIMUNGAL，并捐赠你喜欢的任何金额。还有 PayPal。还有加密货币。还可以直接在 YouTube 上加入。请记住，是赞助商和你的支持让我能够全职从事 TOE 的工作。你还可以提前获得无广告剧集，无论是音频还是视频。Patreon 上是音频，YouTube 上是视频。例如，你现在正在收听的这一集比以往提前几天发布。每一美元的帮助都比你想象的要大得多。无论如何，你的观看就是足够慷慨了。非常感谢你。谢谢你。