这是硅谷版世界末日传教士Eliezer Yudkowsky的最新论点。
Yudkowsky用现在的话说，是个不折不扣的斜杠青年，是MIRI创始人，也是著名的哈利波特同人文作者。
但最引人注目的身份则是一手缔造OpenAI和谷歌DeepMind的中之人。
八年级辍学、AI知识全靠自学成才……
奥特曼、马斯克纷纷引用他的观点，AI教父Hinton、LeCun则批评他的极端。
就是这样一个评价两极分化严重的人，却成为了硅谷大佬们争先恐后的座上宾。
他说，他的目标是阻止AI朝着超级智能发展，因为这事关整个人类的生死存亡。
参与OpenAI和DeepMind创办
也许你对Eliezer Yudkowsky还不太熟悉，但他的名字在硅谷可以说是大名鼎鼎。
Eliezer Yudkowsky出生在芝加哥的一个东正教犹太家庭，因为慢性健康问题，在八年级后就早早地辍学回家。
没有学校文凭，取而代之的是，他如饥似渴地阅读科幻小说，自学计算机科学，并与一群主张科技乐观主义的未来学家们在网上交流。
也就是那时，他被“奇点”这个概念所深深吸引，即假设中人工智能超越人类智能的未来转折点，于是他立志要创建AGI，并坚信AGI即将到来。
但当他来到硅谷后，却发现要创建对人类友好的人工智能其实相当困难，主要还是以下三个原因：
- 正交性:智力不等同于仁慈，AI不会因为变得更聪明而自动变得更友好。
- 工具性融合:任何强大的、以目标为导向的AI系统都有可能采取对人类不利的手段，比如在回形针最大化器实验中，一旦AI认为人类身体内的铁元素可以用来制作回形针，那么为了保证最大化生产回形针，AI将会把人类视作资源的一部分。
- 情报爆炸:AI能力可能在短时间内急剧飙升，导致迅速出现不可控的超级智能。
从此之后，他开始持续关注AI安全问题，也成为了硅谷最早警告AI风险的“传教士”之一。
Yudkowsky曾表示：
此外他还在伯克利创建了MIRI研究所，致力于研究先进人工智能的风险。
虽然他极端悲观的AI末日论说法颇受业界争议，连AI教父Hinton都明确表示过Yudkowsky的主张过于偏颇，但不可否认的是，他在一定程度上影响了整个硅谷。
无论是OpenAI的奥特曼，还是马斯克在内的AI科技巨头，都曾在公开场合引用他的观点，奥特曼甚至曾表示，Yudkowsky在他创办OpenAI的决定中，发挥了关键性作用，而且他值得一座诺贝尔和平奖。
不仅如此，谷歌在AI领域有所成就也离不开他的功劳。
2010年时，就是他为初创公司DeepMind的创始人牵线搭桥，将其介绍给了风险投资家Peter Thiel，Thiel从此成为了DeepMind的第一位主要投资者。
后面谷歌在2014年收购了DeepMind，而DeepMind的联合创始人Demis Hassabis如今正负责监督谷歌的AI工作。
哈利波特同人文作者
除了在AI安全领域的贡献，让Yudkowsky在硅谷声名鹊起的另一个原因，则是他对硅谷理性主义的引领。
如今硅谷科技公司中的年轻一代，绝大多数都是坚定的理性主义者，追根溯源正是受到了Yudkowsky的作品影响。
而这本书便是哈利波特的同人文——《哈利·波特与理性之道》。
在这本书中，哈利波特从小接受科学训练、逻辑思维和理性教育，用科学探索魔法世界。原著中的事件都被理性重构改写，不仅关注魔法如何使用，还探究魔法原理和背后的逻辑，还经常涉及像贝叶斯推理、实验设计、概率思维等知识。
再比如说，Yudkowsky的另一本有关《龙与地下城》的同人小说，其中也包含了他对决策理论的诸多看法。
而最近他和MIRI总裁Nate Soares合著的新书《如果有人建造它，每个人都会死》，也是他们多年来一直向人工智能内部人士提出的案例提炼版，当中他公开抛出了有关超级智能的最终预测。
他认为，目前很多科技公司，包括Anthropic、OpenAI在内，在构建软件模型时，其实并不清楚内部的运作逻辑，所追求的“炼金术”超越了科学理解范畴。
所以一旦模型能力到达某种程度，现有的AI对齐技术（如强化学习、微调等）将不可避免地失效，从而忽略人类指令。
最终AI不仅掌握了极大的能量，在资源使用、决策等方面也会脱离人类控制，人类可能在毫无察觉的时候就被潜移默化地边缘化取代，以一种渐进式的方式消失，而非像科幻电影中所描述的那样，会出现一场和机器人的生死存亡的战争。
Yudkowsky认为，现在已经到了该报警的阶段，这不是危言耸听，人类正在忽略真正的风险。
在谈及硅谷这些追求创造超级智能的科技公司，Yudkowsky表示它们每一家都应该被关闭，Anthropic相对较好，而OpenAI明显最差，但诚然重视AI安全如llya，Yudkowsky也一视同仁地认为llya的公司也需要被停止，因为它们本质上都没有区别。
不过随着时间的推移，他不再精确预测超级人工智能何时才会被开发出来，当结果注定的时候，过程显得那么无关紧要。
正如他回复网友时，所采用的这个比喻：
而他正在试图做的，是告诉人们，这里将会有一杯温水。
参考链接： [1]https://www.nytimes.com/2025/09/12/technology/ai-eliezer-yudkowsky-book.html?unlocked_article_code=1.lU8.ALkU.Qne6o4IgeeEP [2]https://www.semafor.com/article/09/12/2025/researchers-give-doomsday-warning-about-building-ai-too-fast
