AI反对派（上）｜那些末日论、怀疑论和警醒者们

这期讲了什么

• 三类反对派的谱系：末日论者（AI 会杀死人类）、怀疑论者（AI 根本不算智能）、警醒者（AI 有用但危险被严重低估）——三类人的诉求完全不同，却经常被混为一谈
• 末日论者的代表人物：尤德科夫斯基、波斯特洛姆、泰格马克、斯图尔特·拉塞尔——他们的核心论点是”超级智能一旦出现，人类无法对齐它的目标”
• 怀疑论的两条路：哲学路线（瑟尔的中文房间、德雷福斯的具身认知）和语言学路线（本德的随机鹦鹉、乔姆斯基的语言本能）——两条路都指向同一个结论：LLM 没有理解，只有统计
• AI 警醒者（AI Safety）：辛顿、本吉奥、苏茨克维尔，以及背后的 EA 有效利他主义运动——他们不是反对 AI，而是要求”先把对齐问题解决了再加速”
• 纳拉亚南与 Scaling Law 的批判：《AI Snake Oil》作者拆解了大量被夸大的 AI 能力研究——Scaling Law 不是自然规律，是商业叙事
• 格布鲁和米切尔的谷歌事件：两位 AI 伦理研究员被谷歌相继解雇，引发学界震动——她们在研究 LLM 的种族和性别偏见

试图回答的几个问题

• 末日论者说的”对齐失败”到底是什么意思？
• 瑟尔的中文房间思想实验，今天还成立吗？
• “随机鹦鹉”这个批评，真的击中了 LLM 的要害吗？
• 有效利他主义为什么会和 AI 安全绑定在一起？
• 格布鲁事件说明了什么：是谷歌压制异见，还是学术批评走错了方向？

几个关键判断

• 末日论的问题不是结论，是前提：尤德科夫斯基的论证链很长，只要有一个前提失效，整个末日叙事就垮掉——但也因此很难被证伪
• 怀疑论低估了涌现，末日论高估了主体性：LLM 确实没有”理解”，但它产生的效果远超怀疑论者的预期；超级智能确实有潜在风险，但”AI 有自己的意志要消灭人类”这个前提远比看起来强
• 警醒者是最难被驳倒的一类：他们不说 AI 不行，也不说 AI 要消灭人类，只说”你们走太快了、没有想清楚”——这个姿态在道德上无懈可击
• 格布鲁事件是权力问题，不是技术问题：谁有资格定义 AI 的危害？谁有权力停止一项研究？这些才是这个故事的核心

时间轴

• 00:15 开场白
• 06:17 《黑客帝国》前传《二次文艺复兴》
• 07:50 电影《终结者2》
• 11:43 尼克·波斯特洛姆《超级智能》
• 14:23 斯图尔特·拉塞尔《人类兼容》
• 14:54 马克·泰格马克《生命3.0》
• 16:38 埃利泽·尤德科夫斯基
• 21:33 美剧《疑犯追踪》
• 26:49 休伯特·德雷福斯《计算机不能做什么》
• 28:52 约翰·瑟尔”中文房间”
• 33:42 随机鹦鹉理论
• 34:20 艾米丽·本德《随机鹦鹉的危险》
• 37:06 诺姆·乔姆斯基《ChatGPT的虚假承诺》
• 39:03 MIT《Nature》论文《语言不是思考的工具》
• 40:59 杰瑞德·库尼·霍瓦斯
• 50:21 乔·卡尔史密斯
• 52:54 杰弗里·辛顿
• 54:45 杨立昆
• 55:54 朱松纯
• 59:19 美剧《西部世界》
• 01:01:25 有效利他主义（EA）
• 01:02:17 超级对齐主义者
• 01:03:17 约书亚·本吉奥
• 01:03:43 伊利亚·苏茨克维尔
• 01:04:02 达里奥·阿莫代
• 01:04:20 威廉·麦克阿斯基尔
• 01:04:29 卡里·图纳
• 01:05:29 阿尔温德·纳拉亚南
• 01:12:57 《苦涩的教训》
• 01:22:14 《Nature》论文《更大更易指导的语言模型变得不太可靠》
• 01:24:01 《LLMs仍无法制定计划》
• 01:28:29 道格拉斯·拉什科夫《向谷歌巴士扔石头》
• 01:30:37 莫法特·奥金尼
• 01:34:27 蒂姆尼特·格布鲁
• 01:39:54 玛格丽特·米切尔
• 01:44:30 电影《2001 太空漫游记》

推荐阅读

• 尼克·波斯特洛姆：《超级智能》（Superintelligence），2014
• 阿尔温德·纳拉亚南：《AI Snake Oil》，2024
• 艾米丽·本德等：《On the Dangers of Stochastic Parrots》，2021
• 个人长文：《AI反对派｜那些末日论、怀疑论和警醒者们》