杰弗里·辛顿（Geoffrey Hinton）离开了谷歌，这样他就可以更自由地谈论人工智能的危险。他认为，制造模拟计算机而不是数字计算机可能会使技术更加忠诚。

杰弗里·辛顿

28 年 2023 月 <> 日，被称为“人工智能教父”的英裔加拿大认知心理学家和计算机科学家杰弗里·辛顿在加拿大安大略省多伦多 Enercare 中心的碰撞技术会议上发表讲话。照片：杰夫·罗宾斯/盖蒂图片社

杰弗里·辛顿，也许这位世界上最著名的人工智能研究人员几个月前公开透露，他已经离开了谷歌，这样他就可以坦率地谈论他帮助开发的技术的危险，引起了轰动。他的宣布并非突然出现。2022 年末，人工智能可以为我们做什么。2023 年，就在我们 GPT 和 Bing 聊天的时候，头晕目眩的感觉被一种存在主义焦虑的恐慌鸡尾酒冲淡了。因此，这位被称为“人工智能教父”的人会分享自己深思熟虑的保留意见并不完全令人震惊。辛顿煞费苦心地说，他的批评不是对雇用他十年的搜索巨头的批评;他的离开只是避免了批评贵公司正在积极部署的技术所带来的任何潜在紧张局势。

Hinton的基本信息是，人工智能可能会失控，损害人类。在他公开后的最初几周，他接受了多次采访，包括与《连线》杂志自己的威尔·奈特（Will Knight）的采访，关于这些恐惧，在看到OpenAI的ChatGPT背后的大型语言模型的力量之后，他最近才感受到这些恐惧。

今年夏天早些时候，我和Hinton进行了自己的谈话，当时他有时间反思他在谷歌时代后的生活和使命。当然，我们谈到了厄运场景，但我更感兴趣的是是什么让他改变了对我们潜在的人工智能未来的看法。最重要的是，我想知道他认为LLM正在做什么，可能会使他们成为人类团队的敌人。Hinton现在表达的担忧与我们2014年交谈时相比有很大的不同。当时，他正在谈论深度学习将如何帮助谷歌进行更有效的翻译，改善语音识别，并更准确地识别谷歌地图上显示的房屋上的地址号码。只有在谈话结束时，他才采取了更广阔的观点，他说他觉得深度学习将进行重大改造，从而更深入地了解现实世界。

他的预测是正确的，但在我们最近的谈话中，Hinton仍然对它是如何发生的感到惊奇。最终，我们的谈话转向了更多的哲学领域。当像谷歌的巴德聊天机器人这样的系统回答我的问题时，到底发生了什么？LLM真的像一些人声称的那样，代表了外星超级智能的前身吗？

Hinton说，当他意识到三件事时，他的想法发生了变化：聊天机器人似乎确实非常理解语言。由于模型的每一个新学习都可以复制并转移到以前的模型中，因此它们可以相互共享知识，这比大脑要容易得多，因为大脑不能直接相互连接。机器现在拥有比人类更好的学习算法。“我突然改变了我的观点，即大脑比那些数字代理更好，”他说。“他们已经知道比任何一个大脑多1倍。所以就海量知识而言，它们比大脑要好得多。

Hinton认为，从现在起的20到50年之间，人工智能系统有<>%的可能性比我们更聪明。我问他我们怎么知道那是什么时候发生的。“好问题，”他说。如果一个超级智能的人工智能系统选择保持自己的能力，他不会感到惊讶。“大概它会从人类的行为中学会不告诉我们。

在我看来，这听起来像是在将这些人工系统拟人化，科学家经常告诉外行人和记者不要这样做。 “科学家们确实会特意不这样做，因为将大多数东西拟人化是愚蠢的，”Hinton承认。“但他们会从我们这里学到这些东西，他们会学会在语言上像我们一样行事。所以我认为将它们拟人化是完全合理的。当你强大的人工智能代理接受人类数字知识的总和（包括大量在线对话）的训练时，不指望它表现得像人类可能会更愚蠢。

但是，关于聊天机器人永远无法真正理解人类所做的事情的反对意见呢，因为这些语言机器人只是计算机芯片上的冲动，没有直接的世界经验？毕竟，他们所做的只是预测下一个单词，以串出一个在统计上满足提示的响应。Hinton指出，即使我们也没有真正直接接触世界。

“有些人认为，嘿，有一个终极障碍，那就是我们有主观经验，而[机器人]没有，所以我们真正理解事物，而他们没有，”Hinton说。“那只是胡说八道。因为为了预测下一个单词，你必须了解问题是什么。你不能不理解就预测下一个词，对吧？当然，他们被训练来预测下一个单词，但作为预测下一个单词的结果，他们理解世界，因为这是做到这一点的唯一方法。

所以这些东西可以...意识？我不想相信Hinton会把Blake Lemoine都放在我身上。我想他不是。“让我继续我作为哲学家的新职业，”Hinton开玩笑地说，当我们更深入地进入杂草时。“让我们把知觉和意识排除在外。我并没有真正直接感知世界。我认为世界上的东西并不是真正存在的东西。发生的事情是它进入我的脑海，我真的直接看到了我脑海中的想法。笛卡尔是这么想的。还有一个问题是，我脑海中的这些东西是如何与现实世界联系起来的？我怎么知道现实世界呢？Hinton继续认为，由于我们自己的经验是主观的，我们不能排除机器可能拥有同样有效的经验。“在这种观点下，可以合理地说这些东西可能已经有主观经验，”他说。

现在考虑一下机器可以真正理解世界，可以从人类那里学习欺骗和其他坏习惯，以及巨型人工智能系统可以处理大脑可能处理的数以亿计的信息的综合可能性。也许你和Hinton一样，现在对未来的人工智能结果有了更令人担忧的看法。

但我们不一定在不可避免的灾难之旅中。Hinton提出了一种技术方法，可以减轻人工智能对人类的权力游戏：模拟计算，就像你在生物学中发现的那样，就像一些工程师认为未来的计算机应该运行一样。这是Hinton在谷歌工作的最后一个项目。“它对人们有用，”他说。Hinton解释说，对AI采用模拟方法的危险性较小，因为模拟硬件的每个实例都有一些独特性。就像我们自己湿漉漉的小脑袋一样，模拟系统不能轻易地合并到天网式的蜂巢智能中。

“我们的想法是，你不会让一切都数字化，”他谈到模拟方法时说。“由于每个模拟硬件都略有不同，因此您无法将重量从一个模拟模型转移到另一个模拟模型。因此，在同一模型的许多不同副本中没有有效的学习方法。如果你真的[通过模拟计算]获得AGI，它将更像人类，它将无法像那些数字模型那样吸收尽可能多的信息。

竞相提升LLM聊天机器人智能化的大型科技公司接受这种技术素食主义的人工智能方法的可能性似乎很小。竞争非常激烈，生产最强大的机器人的回报是天文数字。Hinton并不羞于表达自己的政治观点，他怀疑大型上市公司或由风险基金支持的初创公司会因为对公共利益的一些感觉良好的看法而阻碍他们的人工智能创新。

Hinton说，在某些日子里，他很乐观。“人家很聪明，还不比我们聪明，他们还没有进化成像人一样讨厌和小气，对你的部落非常忠诚，对其他部落非常不忠诚。正因为如此，我们很可能能够控制它并使其仁慈。但其他时候，Hinton感到沮丧。“有时候，我相信我们可能无法控制它，我们只是智能进化的一个阶段。

然后，杰夫·辛顿（Geoff Hinton）独特且不可复制的模拟神经网络突然越狱——科学被沉默了，政治被他非常人性化的游戏意识所发酵，爆发了，“如果我们让伯尼掌权，我们有社会主义，一切都会好得多，”他说。我敢打赌，他的前谷歌经理们会松一口气，不必为此负责。

推荐阅读