图灵奖得主辛顿：我老了 如何控制比人类更聪明的AI 就看你的了

还记得大牛们在“AI是否可能灭绝人类”上分成两大阵营？

无法理解“AI 带来风险”的原因，吴恩达最近开启了一系列对话，与两位图灵奖获得者进行了对话：

人工智能的风险是什么？

有趣的是，在与Yoshua Bengio 和Geoffrey Hinton 深入交谈后，他与他们“达成了很多共识”！

他们同意双方应该共同讨论人工智能的具体风险，以及它“理解”什么。 Hinton 还特意cue 了“对方的代表”图灵奖获得者Yann LeCun：

学术界在这个问题上分歧太大，包括我们非常尊敬的学者如Yann，他们认为大模型不明白它在说什么。

马斯克也对这段谈话很感兴趣：

此外，Hinton近日在致远大会上“宣讲”AI的风险，称比人类更聪明的超级智能即将出现：

我们不习惯思考比我们聪明得多的事物，以及如何与它们互动。

我现在不知道如何防止超级智能“失控”，而且我正在变老。我希望更多的年轻研究人员能够掌握控制超级智能的手段。

让我们来看看这些对话的核心要点，以及不同AI专家对此事的看法。

吴恩达对话图灵奖获得者：AI安全应达成共识首先是对话本吉奥。吴恩达与他达成了关键共识，即：

科学家们应该努力寻找“存在人工智能风险的特定场景”。

也就是说，人工智能在哪些场景下会给人类带来重大危害，甚至导致人类灭绝，这是双方需要达成的共识。

本吉奥认为，人工智能的未来充满“迷雾和不确定性”，因此有必要明确一些人工智能会造成危害的具体场景。

随后是与Hinton的对话，双方达成了两个关键共识。

一方面，所有科学家都必须就“人工智能风险”这个话题好好谈谈，才能制定好的政策；

另一方面，人工智能真正了解世界。科学家们需要列出关键的技术问题，这将有助于在人工智能安全问题上建立共识。

在这个过程中，Hinton 提到了需要达到的关键点，即“GPT-4 和Bard 等大型对话模型是否真正理解它们在说什么”：

有些人认为他们理解，有些人认为他们只是随机的鹦鹉。

我想我们都相信他们理解（他们在说什么），但是我们一些非常受尊敬的学者，比如Yann，认为他们不理解。

当然，被“表态”的LeCun也及时赶到，认真地发表了自己的看法：

我们都可以同意每个人都需要就某些问题达成一致的事情。我也同意Hinton 的观点，LLM 有一些理解，说它们“只是统计数据”是误导性的。

1. 但是他们对世界的理解非常肤浅，很大程度上是因为他们只接受了纯文本的训练。与自回归LLM 非常有限的推理和规划能力相比，从视觉中学习世界如何运作的人工智能系统将对现实有更深入的理解。

2.如果不具备以下条件，我不相信会有接近人类（甚至猫）水平的AI：

(1) 从视频等感官输入中学习到的世界模型

(2) 可以推理和计划的架构（不仅仅是自回归的）

3. 如果我们有理解规划的架构，它们将是目标驱动的，即根据优化推理时间（而不仅仅是训练时间）的目标来规划工作。这些目标可能是人工智能系统“听话”和安全的护栏，甚至最终创造出比人类更好的世界模型。

那么问题就变成了设计（或训练）一个好的目标函数来保证安全和效率。

4. 这是一个很难的工程问题，但并不像有些人想象的那么难。

虽然在这个回应中仍然没有提及“AI风险”，但LeCun实际上给出了提高AI安全性的建议（创建AI“护栏”），并设想了一个比人类更强大的AI会是什么样子。 （多感官输入+合理规划）。

某种程度上，双方就人工智能存在安全问题的观点达成了一些共识。

Hinton：超级智能比想象的更近。当然，不仅仅是和吴恩达的对话。

最近离开谷歌的Hinton 在很多场合都谈到了AI 风险的话题，包括最近的致远大会。

大会上，他以“通往智能的两条路线”为主题，探讨了“知识升华”和“权重共享”两条智能路线，以及如何让AI更聪明，以及他对超级智能出现的看法。看法。

总之，Hinton 不仅相信超级智能（比人类更聪明）会出现，而且会比人们想象的更早出现。

不仅如此，他认为这些超级智能会失控，但他也想不出什么好办法来阻止它们：

超级智能可以很容易地通过操纵人来获得更多的权力。我们不习惯思考比我们聪明得多的事物，以及如何与它们互动。但是它会变得擅长欺骗人，因为它可以通过某些虚构的作品学会欺骗别人。

一旦它擅长欺骗人们并有办法让人们做任何事情……我认为这很可怕，但我看不出如何防止这种情况发生，因为我老了。

我希望像你这样年轻有才华的研究人员能够弄清楚我们是如何拥有这些超级智能并让我们的生活更美好的。

当放映“THE END”幻灯片时，Hinton 强调了一点：

这是我最后的PPT，还有这个

演讲的结束。

参考链接：

[1]https://twitter.com/AndrewYNg/status/1667920020587020290

[2]https://twitter.com/AndrewYNg/status/1666582174257254402

[3]https://2023.baai.ac.cn/

本文来自微信公众号：量子位 （ID：QbitAI），作者：萧箫