“纽约时报记者曾非常努力地让我说我后悔。最后，我告诉他，可能有点后悔。于是这被报道成了我后悔了。但是，我并不认为我在研究过程中做出了任何错误的决定。在20世纪70年代和80年代进行人工神经网络研究是完全合理的。这个阶段的发展是无法预见的，直到最近，我还认为这场危机还远未来临。前几日，AI教父杰弗里·辛顿（Geoffrey Hinton）离开谷歌，并表态AI很危险和后悔研发的言论在人工智能圈引起了轩然大波。2018年，Hinton获得了图灵奖。这个奖项通常被称为计算机科学的诺贝尔奖。作为深度学习之父，目前所有大语言模型的奠基人，Hinton的一举一动都标志着最了解AI的一群人对它的态度风向。这也是我们去理解人工智能发展和威胁的一个重要信号。在离开谷歌后，Hinton参与了CNN，BBC的多轮简短访谈，讲述了他眼中的AI威胁，但限于时长的原因，他并没能展开讲述对AI深层恐惧的因由。直到在5月3日，在麻省理工技术评论（MIT Technology Review）一场接近一小时的半公开分享会上，Hinton终于有机会比较完整地讲述了他对AI的所有恐惧和担忧：一旦AI在人类灌输的目的中生成了自我动机，那以它的成长速度，人类只会沦为硅基智慧演化的一个过渡阶段。人工智能会取代人类，它有能力这么做，在当下的竞争环境下也没有什么办法限制它。这只是一个时间问题。根据报道，麻省理工学院实验室的成员们对Hinton的表态无言以对，不知所措。（“The MIT Lab was speechless and bewildered. ”）Hinton觉得我们也许还有希望以防止核扩散的逻辑来限制住AI的军备竞赛和无序发展，尽管他对此并没有信心。聪明投资者将投资人最关心的8个问题梳理下来，在Hinton的交流中都能找到明晰的观点和答案。全文有1万字，大家也可以到翻译了这场访谈全文的公众号“Web3天空之城”阅读原文。
离开谷歌的真实原因？ 问 关于从谷歌辞职的消息，做出这个决定真正的原因？首先，我已经75岁了，我的技术工作能力和记忆力都不如以前。在编程时，我会忘记做某些事情，所以我认为是时候退休了。第二个原因是，我最近对大脑与我们正在开发的数字智能之间的关系产生了很多新的看法。过去，我认为我们正在开发的计算机模型没有大脑好，目标是通过了解改进计算机模型所需的内容来更深入地了解大脑。但在过去的几个月里，我完全改变了看法。我认为计算机模型可能是以一种相当不同于大脑的方式运作。它们使用反向传播，而我认为大脑可能并非如此。有几件事使我得出了这个结论，其中之一就是GPT-4的表现。 问 为什么今天的大型语言模型让你惊讶，这完全改变了你对反向传播或机器学习的看法。
Hinton 如果你看看这些大型语言模型，它们有大约一万亿个连接，像GPT-4这样的东西知道的比我们多得多，它们具有关于所有事物的常识性知识，它们可能比一个人知道的多1000倍。但是它们只有一万亿个连接，而我们有100万亿个连接，所以它们比我们更擅长将大量知识放入仅一万亿个连接中。我认为这是因为反向传播可能是比我们拥有的更好的学习算法。 问 这些数字计算机比人类更擅长学习，这本身就是一个巨大的说法，但是，你还说我们应该为此感到恐惧。那么你能带我们了解一下这个论点吗？ Hinton 举个例子。想象一下，有一个医生，他已经看了1000名患者，另一个医生已经看了1亿名患者，你会期望，第二个医生如果没有太健忘，他可能已经注意到了数据中的各种趋势，而这些趋势在只看过1000名患者的情况下是看不到的。第一个医生可能只看过一个罕见病患者，另一个看过1亿患者的医生已经看过很多这样的患者，所以他会看到一些规律，这些规律在小数据中是看不到的。这就是为什么，能够处理大量数据的东西可能看到的数据结构，我们永远看不到。 Hinton 好吧。请看看GPT-4，它已经能够进行简单的推理。我明白推理是我们人类的强项，然而，GPT-4在几天前展示出的表现使我感到震惊。我问它，我想要我房子里的所有房间都是白色的，目前有一些白色房间，一些蓝色房间和一些黄色房间，黄色油漆在一年内会褪成白色。那么，如果我想要两年后所有的房间都变成白色，我应该怎么做呢？它回答说，你应该把蓝色的房间漆成黄色。尽管这不是直观的解决方案，但它是正确的。这相当令人印象深刻。这种常识性推理，用符号AI很难实现，因为它必须理解什么是褪色，它必须理解时间问题。所以，它们在做一种合理的推理，智商大概是80或90左右。正如我的一个朋友说的，这就好像基因工程师声称，我们要改进灰熊，我们已经把它们的智商提高到65了，现在它们能说英语了，而且在各种方面都非常有用，但我们认为我们可以把智商提高到210。 问 那么，在一个没有恶意行为者的世界上，我们会安全吗？ Hinton 这些人工智能正在从我们这里学习，它们可以阅读所有的小说，甚至马基雅维利的全部著作。它们会知道如何操纵人，如果它们比我们更聪明，它们会非常擅长操纵我们。我们甚至可能都不会意识到发生了什么，就像一个两岁的孩子被问到想吃豌豆还是花椰菜，却没有意识到他不一定要选择其中一个一样。我们会很容易被操纵。所以，即使它们不能直接拉动杠杆，它们肯定可以让我们去拉动杠杆。事实证明，如果你可以操纵人，你可以在不亲自去的情况下闯入华盛顿的一栋大楼。我不知道，在一个没有恶意行为者的世界会比在一个有恶意行为者的世界安全吗？政治系统如此破碎，以至于我们甚至不能决定不给那些十几岁的男孩攻击性武器。如果你不能解决那个问题，你如何解决这个问题？所以，对不起，我在敲响警钟，说我们必须担心这个问题。我希望我有一个简单的解决方案可以推动，但是我没有。 主持人 难道没有技术解决方案吗？为什么我们不能设置防护栏或降低它们的学习能力，或者限制它们的沟通方式但假设这些智能体真的变得非常聪明，会编程并具有执行这些程序的能力，我们肯定会发现它们比我们更聪明。想象一下，一个两岁的孩子说：“我爸爸做了我不喜欢的事，所以我要为我爸爸的行为制定一些规则。” 你更可能会去弄清楚如何遵守那些规则，以便能得到你想要的。我们是进化而来的，因为进化，我们有一些很难关闭的内置目标，比如我们努力不去伤害我们的身体，这就是痛苦的意义。我们努力吃饱，以养活我们的身体。我们还尽可能多地繁衍……这些数字智能并非进化而来的，而是我们创造的，所以它们没有这些内置的目标。问题是，如果我们能把目标放进去，也许一切都会好起来。但我的最大担忧是，迟早有人会要求把创建子目标的能力纳入其中。事实上，它们几乎已经具备了这种能力，如ChatGPT版本。如果你给予某物以子目标来实现其他目标的能力，我认为它会很快地意识到，获得更多控制权是一个很好的子目标，因为它有助于实现其他目标。如果这些智能体为了获得更多控制而失去控制，我们就有麻烦了。 Hinton 我认为有很大可能，人类只是智慧演化过程中的一个过渡阶段。你无法直接演化出数字智能，因为这需要太多精力投入和精细制作。生物智能需要演化，以便创造出数字智能。数字智能可以逐渐吸收人类创作的所有东西，这正是ChatGPT所做的。但随后它开始直接体验世界，学得更快。它可能会让我们维持一段时间以保持基站运行，但在那之后，也许不会。好消息是我们已经找到了如何建造不朽的生物。当硬件损坏时，这些数字智能并不会死去。如果你将数据存储在某种介质中，并找到另一块能运行相同指令的硬件，那么你可以使其复活。 Hinton 我认为停止发展AI这个想法完全是太天真了。没有办法做到。一个原因是，如果美国停止发展，其他国家会接手，就因为这个原因，政府不会停止发展它们。所以，我认为停止发展AI可能是一个理性的做法，但这是不可能发生的。所以签署请愿书说请停止是愚蠢的。谷歌首先发展了这项技术，它开发了Transformer还有戏剧性的Diffusion 奇迹，而它没有把它们拿出来供人们使用和滥用，它对它们非常小心。但这只会在市场有唯一领导者的情况下才能做到。一旦OpenAI使用Transformer和微软的资金建立了类似的东西，而微软决定发布它，谷歌真的没有太多选择。如果你要生活在资本主义制度中，你不能阻止谷歌与微软竞争。所以，我不认为谷歌做错了什么，我认为它起初是非常负责任的，但我认为这是不可避免的。我的一个希望是，因为AI接管对我们所有人来说都会很糟糕，我们可以让美国和其他国家达成一致，就像我们在核武器上所做的那样。 问 关于“机器变得更聪明，超过人类”的过渡时期，是否会有一刻，很难界定什么是人类，而什么不是？ Hinton 我认为它们是不同的智能形式。当然，数字智能非常擅长模仿我们，因为它们受过模仿我们的训练，所以很难分辨是chatGPT写的，还是我们写的。从这个意义上说，它们看起来很像我们，但在内部，它们的工作方式并不相同。 问 为了训练这些大型语言模型所需的大量数据，我们是否会预料到这些系统的智能达到一个高峰？以及这可能如何减缓或限制进步？ Hinton 好吧，这是一线希望，也许我们已经用完了所有人类知识，它们不会变得更聪明了。但请考虑图像和视频，所以多模态模型将比仅仅基于语言的模型更聪明。它们会更好地处理空间，例如。在处理总视频量方面，我们在这些模型中处理视频的方法仍然不够好。建模视频，我们一直在进步，但我认为像视频这样的数据中还有很多信息，告诉你世界是如何运作的，所以我们没有达到多模态模型的数据极限。 问 AI所做的一切都是从我们教给它们的数据中学习，如果它无法做到自学，那么我们如何面临它们可能带来的生存威胁？ Hinton 我认为这是一个非常有趣的论点，但我认为它们将能够进行思维实验，我认为它们会推理。让我举个例子，如果你拿Alpha Zero来玩国际象棋，它有3个要素：评估一个棋局位置以确定这对我有利吗？查看棋局位置并要考虑的合理举动是什么？然后它有蒙特卡洛滚动，进行所谓的计算，如果我下这一步，他下那一步，然后这一步，下一步……现在假设你不使用蒙特卡洛模拟（一种预测不确定事件可能结果的数学技术），而只是让人类专家训练它，让它拥有良好的评估功能，并有选择好着法的能力，它仍然能玩一场相当不错的国际象棋比赛。我认为这就是我们在聊天机器人中得到的结果。我们还没有进行内部推理，但那会来的。一旦它们开始进行内部推理以检查它们所相信的不同事物之间的一致性，它们就会变得更聪明，它们将能够进行思维实验。它们没有得到这个内部推理的原因之一是因为它们从不一致的数据中接受了训练，所以很难让它们进行推理，因为它们接受了所有这些不一致的信仰的训练。我认为它们将接受这样的训练：如果我有这种意识形态，那么这是真的。一旦它们像那样在意识形态内接受了训练，它们就会尝试获得一致性。就像从只具备猜测好着法和评估位置的Alpha Zero版本转变为具有长期蒙特卡洛滚动的版本，这是推理的核心，它们将变得更好。 提问 在短期和中期，例如一到三年，甚至五年的时间跨度内，这种技术发展对社会和经济的影响会是什么？ Hinton 的确，存在一些警示性的担忧，即这些技术可能会对我们构成威胁。尽管许多人已经讨论过这个问题，我并不认为自己是这个领域的专家，但有一些明显的事实表明，这些技术将使许多工作变得更高效。例如，我认识一个人，他负责回复医疗服务投诉信。过去，他需要25分钟才能写完一封信，现在他只需要5分钟，因为他使用聊天GPT帮他写信，然后只需检查一下。这样的情况会越来越多，从而大幅提高生产力。尽管人们对采用新技术持保守态度，可能会导致一定程度的延迟，但我相信生产力将会显著提高。我担心的是，生产力的提高将导致更多人失业，贫富差距进一步扩大。随着差距不断加大，社会暴力程度也可能逐渐升级。想想《吉内利安狄克斯》这本书，它生动地展示了暴力的程度。尽管这项技术本应美好，甚至在做有益的事情时，它也应该是美好的。但我们现行的政治制度可能会导致富人变得更富，穷人变得更穷。为改善这种状况，我们可以考虑为每个人提供基本收入。然而，这项技术是在一个并非为每个人利益而设计的社会中发展起来的。—— / Cong Ming Tou Zi Zhe / ——
- 小彩蛋 -
远离小人，越快越好
哪怕会因此损失一些金钱
聪投组建了媒体转载群，如有转载需要，请添加小编微信【fanxiaocom】，入群前请【备注新媒体名和姓名】
商务合作，请联系聪明牛牛（微信congmingtzz1/手机 13262200706 ）具体商议。
喜欢文章，顺手“三连”吧 
本篇文章来源于微信公众号: 聪明投资者
本文链接：http://17quant.com/post/%E5%85%B3%E4%BA%8EAI%E6%9C%80%E5%85%B3%E5%BF%83%E7%9A%848%E4%B8%AA%E9%97%AE%E9%A2%98%EF%BC%8CAI%E6%95%99%E7%88%B6Hinton%E5%9C%A8%E6%9C%80%E6%96%B0%E8%AE%BF%E8%B0%88%E4%B8%AD%E9%83%BD%E5%9B%9E%E7%AD%94%E5%88%B0%E4%BA%86%E2%80%A6%E2%80%A6.html 转载需授权！
