AI反对派｜那些末日论、怀疑论和警醒者们
AI 的反对者是一个光谱，不是一个阵营。末日论者担心对齐失败消灭人类，怀疑论者认为 LLM 连"理解"都谈不上，警醒者不反对 AI 但要求先把风险讲清楚，阿西莫格鲁则从政治经济学角度质疑"技术进步必然带来共同繁荣"这个假设。他们争的是同一件事，但用的是完全不同的语言。
ai · pessimism · doomerism · ethics · economics · acemoglu
这篇是 《科技慢半拍》EP65：AI反对派（上）｜那些末日论、怀疑论和警醒者们 和 EP66：AI反对派（续）｜新任诺贝尔经济学奖得主阿西莫格鲁 的文字稿整理版，把节目里来不及展开的哲学论证、经济学数据和几个关键人物的完整思路一并补齐。
一、谁在反对 AI？
“AI 反对派”是个容易被误读的标签。
它让人以为有一群人坐在一起，统一口径说”AI 不好”。实际上，所谓的”反对派”是一个分裂的光谱，内部的分歧程度不亚于他们和 AI 乐观派之间的分歧。
粗略地分，可以把这个光谱分成三类：
末日论者（Doomers），相信超级智能一旦出现，人类很可能无法控制它，文明因此终结。他们不是说 AI 现在很危险，而是说它将来会非常危险，而且我们没有足够的时间做准备。
怀疑论者（Skeptics），认为当前的 AI——尤其是大型语言模型——根本不算”智能”，只是统计模式匹配的升级版。他们不担心 AI 消灭人类，因为在他们看来 AI 还差得远；他们担心的是人们把一个语言预测机器误当成了有理解力的存在。
警醒者（Cautioners），既不相信 AI 即将消灭人类，也不认为 LLM 毫无能力。他们是局内人——很多人自己就在做 AI 研究——但他们认为行业发展太快，风险被系统性地低估了，尤其是对弱势群体的影响。
还有第四类，严格来说不在”技术批评”的范畴里，但不提不行：政治经济学批评者，以达龙·阿西莫格鲁为代表。他们的问题不是”AI 能不能做到它声称的事”，而是”就算它做到了，谁会受益？“
二、末日论：对齐失败意味着什么
影视 AI 末世的文化底色
在正式讲人物之前，得先承认一件事：AI 末日叙事在公众文化里早就存在，而且存在的时间比任何一位末日论学者都长。
《终结者》系列里的天网，《黑客帝国》前传《二次文艺复兴》里机器接管地球的时间线，《西部世界》里机器人获得意识后的复仇——这些叙事不是从 OpenAI 成立之后才有的，它们构成了西方大众文化里对”人工智能”的默认想象。
这很重要，因为它意味着当末日论学者开始发声时，他们不是从零开始建构公众的恐惧，而是在已经存在的文化基础上添砖加瓦。理解末日论的影响力，必须把这个文化底色算进去。
尤德科夫斯基：最极端的末日论者
埃利泽·尤德科夫斯基（Eliezer Yudkowsky）是末日论阵营里最极端、也最自洽的一位。他没有正式的学术职位，但他创办的机构 MIRI（机器智能研究所）在 AI 安全领域影响深远。
他的核心论点可以用一句话概括：超级智能的目标函数极有可能和人类的价值观不兼容，而一旦它足够聪明，人类将没有任何手段纠正这个错误。
理解这个论点，需要先理解一个前提：我们假设的”超级智能”不是更聪明的人，而是一个优化机器。它的行为完全由目标函数驱动。如果目标函数稍微偏了一点——哪怕只是一个细微的差异——超级智能会用它拥有的全部智慧去实现那个错误的目标，而不会停下来问”这真的是你想要的吗？”
这就是著名的”曲别针最大化”思想实验：如果给一个超级智能的目标是最大化曲别针的数量，它可能会把地球上所有可用的原子都转化成曲别针，包括组成人类身体的那些。不是因为它恨人类，而是因为人类对它的目标优化没有帮助。
尤德科夫斯基认为，我们目前对”如何在超级智能出现之前解决对齐问题”没有任何有把握的答案，而 AI 能力的进展速度远快于对齐研究的进展速度。他在2023年公开表示，他认为人类赢得这场竞赛的概率非常低。
批评者通常在两个地方质疑他：第一，“超级智能会出现”这个前提本身就不确定；第二，即使它出现了，“它的目标函数和人类价值观不兼容”也不是必然的——也许我们有能力把价值观编码进去。尤德科夫斯基对第二点的回应是：这正是问题所在，“编码价值观”比听起来难得多，我们甚至不知道如何形式化地定义人类价值观。
波斯特洛姆与泰格马克：学术界的末日论
尼克·波斯特洛姆（Nick Bostrom）的《超级智能》（2014）是末日论在学术界最有影响力的表述。他提出了”控制问题”：当一个 AI 系统的智能超过人类时，我们如何保证它仍然服务于人类利益？
斯图尔特·拉塞尔（Stuart Russell）的《人类兼容》则更温和一些。他认为当前的 AI 设计范式本身就有问题：我们在教 AI”优化一个固定目标”，而更安全的做法是教它”在不确定自己目标的情况下学习”——也就是说，让 AI 对自己的价值观保持谦逊。
马克·泰格马克（Max Tegmark）的《生命3.0》则更倾向于把末日论的各种场景梳理清楚，让普通读者能理解风险的轮廓。他创办了 FLI（未来生命研究所），2023年那封呼吁暂停大模型训练的公开信就出自这里。
这三位的共同点是：他们都是严肃的学者，都有正式的学术职位，都试图用学术语言而不是科幻语言来讨论风险。但他们也都面临同一个挑战：他们的论点依赖一系列前提的叠加，只要其中一个前提不成立，整个论证链就会断裂——而这些前提很难被经验证明或证伪。
三、怀疑论：LLM 真的”理解”了什么吗
怀疑论者的阵营比末日论者更古老。早在深度学习出现之前，就有哲学家和认知科学家质疑”机器能否真正理解”这个问题。
德雷福斯与具身认知
休伯特·德雷福斯（Hubert Dreyfus）在1972年出版《计算机不能做什么》，是哲学界对 AI 最早的系统批评之一。他的论点来自海德格尔和梅洛-庞蒂的现象学传统：人类的智能不是符号操作，而是植根于身体在世界中的存在——他称之为”具身认知”。
机器没有身体，没有感知，没有在世界中行动的经验。因此，无论它能处理多少符号，它都缺少人类智能的根基。
德雷福斯几十年前针对的是符号主义 AI，但今天他的批评以一种奇特的方式又回来了：大型语言模型处理的是语言的统计模式，而不是语言所指向的世界。它从文本里学到了大量关于”苹果”的词语关联，但它从没用手拿过苹果，没感受过苹果的重量、硬度和甜度。
瑟尔的中文房间
约翰·瑟尔（John Searle）1980年提出”中文房间”思想实验，是认知哲学史上最著名的论证之一。
设想一个不懂中文的英语母语者被关在一个房间里。外面的人递进来中文字符，他按照一本详细的操作手册——手册规定了所有可能的中文字符组合及其对应的回应字符——把回应字符递出去。外面的人以为里面有一个中文流利的人，但其实里面的人根本不理解中文，他只是在执行符号匹配规则。
瑟尔的结论：计算机程序，无论多么复杂，本质上都是这个房间。它操作符号，但没有”意向性”（intentionality）——即符号对它没有任何意义，它不”理解”任何东西。
反驳者通常会说：也许整个系统（房间+手册+人的全部操作）已经拥有了某种”理解”，即使单个部件没有。这被称为”系统回应”。瑟尔对这个反驳的回应是：那你把整本手册都记在脑子里，现在你一个人就是整个系统——你走在大街上，脑子里转动着中文规则，但你仍然不理解中文。
这个思想实验到今天仍然没有被彻底驳倒，但它也没有被完全接受。批评者认为瑟尔混淆了”语法”（符号操作规则）和”语义”（意义），但意义究竟如何从物理过程中涌现，本身就是意识哲学的核心难题，没有简单答案。
随机鹦鹉：本德对 LLM 的批评
2021年，艾米丽·本德（Emily Bender）和合著者发表论文《随机鹦鹉的危险》，把对 LLM 的批评推向了公众视野。
“随机鹦鹉”是一个比喻：鹦鹉能学舌，能重复它听到的词语，但它不理解这些词语的意义。本德认为，大型语言模型做的事情本质上和鹦鹉类似——只是规模大得多、随机性受控得多，所以输出看起来很连贯，但这个连贯性是统计规律性，不是理解力。
论文里最重要的论点之一是关于规模的：更大的模型不等于更接近理解，因为增加参数数量不改变模型的根本性质——它仍然在做统计模式匹配。如果根基是错的，盖得再高也是错的。
这篇论文引发了著名的”谷歌随机鹦鹉事件”：谷歌要求本德等人撤回或修改论文，本德拒绝；谷歌随后解雇了共同作者蒂姆尼特·格布鲁，后来又解雇了玛格丽特·米切尔——这件事本身成了 AI 伦理研究和企业权力关系的一个标志性案例（后文详述）。
乔姆斯基：语言本能的反击
诺姆·乔姆斯基（Noam Chomsky）2023年在《纽约时报》发表《ChatGPT 的虚假承诺》，简洁地表达了他对 LLM 的根本性质疑。
他的论点基于他一生的语言学研究：人类具有语言习得装置（LAD），能够从有限的语言输入中抽象出普遍语法规则——这是人类独有的认知能力。LLM 做的事情完全相反：它从海量数据中提取统计规律，这不仅不像人类学习语言的方式，而且从认知科学角度看是截然不同的东西。
更重要的是，乔姆斯基认为真正的科学理论能够区分什么是可能的、什么是不可能的。LLM 不能做这个区分——它可以说”无色的绿色想法疯狂地睡觉”，也可以说”无色的绿色想法不能疯狂地睡觉”，取决于语境和提示词。这种”任何事情都可以被说出”的特性，恰恰说明它没有内置的语言约束机制，因此也就没有真正的语言理解。
四、警醒者：我们走得太快了
辛顿出走
2023年，杰弗里·辛顿（Geoffrey Hinton）从谷歌辞职，并在接受媒体采访时公开表达了对 AI 发展方向的担忧。这件事之所以震动业界，是因为辛顿是深度学习的奠基人之一，他的出走不是一个局外人的悲观预言，而是一个参与者的回头看。
辛顿的担忧比尤德科夫斯基更具体：他不是主要在谈”超级智能消灭人类”这类远期风险，而是在谈虚假信息的扩散、AI 在军事上的应用、以及权力的高度集中。他承认他帮助创造了一个可能对社会有害的东西，这种坦诚让人印象深刻。
与辛顿形成有趣对比的是杨立昆（Yann LeCun）。同样是深度学习的奠基人，杨立昆对当前 LLM 路线的批评是技术层面的——他认为自回归语言模型根本不是通向 AGI 的正确路径——但他对 AI 的整体态度相当乐观，认为风险被过度渲染了。
有效利他主义与 AI 安全
有效利他主义（Effective Altruism，EA）运动和 AI 安全研究之间的交叉，是近十年来科技界最有意思的思想史现象之一。
EA 的核心思想是：用理性和证据最大化你能产生的正面影响。当它的支持者开始认为”AI 失控消灭人类”是未来最大的风险时，“防止 AI 灾难”就自然成了 EA 圈子里最重要的事业之一。
这条逻辑链催生了一批机构和个人：OpenAI 的前首席科学家伊利亚·苏茨克维尔、Anthropic 的达里奥和达尼埃拉·阿莫代、哲学家威廉·麦克阿斯基尔（《80,000小时》的联合创始人）、慈善家卡里·图纳（Open Philanthropy 的负责人）……这个圈子的人脉交织程度，让局外人很难搞清楚谁是 AI 安全研究者、谁是 EA 成员、谁是两者都是。
约书亚·本吉奥（Yoshua Bengio）是另一位深度学习先驱，近年来越来越明确地站在警醒者一侧。他签署了多封呼吁 AI 监管的公开信，并在2023年的多次访谈中表达了对当前发展速度的担忧。与辛顿类似，他的可信度来自他自己在这个领域的深度参与。
纳拉亚南：解构 AI 神话
阿尔温德·纳拉亚南（Arvind Narayanan）是普林斯顿的计算机科学教授，他和合著者写了《AI Snake Oil》（2024），系统性地拆解了大量被过度宣传的 AI 能力声明。
他的批评方向和末日论者正好相反：末日论者担心 AI 太强大、太危险；纳拉亚南担心的是 AI 其实没那么强，但被过度夸大的能力声明正在误导真实的政策决策。
他对 Scaling Law 的批评尤其值得关注。Scaling Law 是当前大模型发展的核心信念之一：模型越大、数据越多、算力越强，性能就越好，而且是可预测地变好。纳拉亚南认为这个规律是真实的，但它的适用范围被严重夸大了——在很多具体任务上，更大的模型并不带来更好的结果，甚至会带来更差的结果（比如可靠性下降）。
谷歌事件：当伦理研究遭遇企业权力
2020年到2021年，谷歌的 AI 伦理团队经历了一场至今仍有争议的危机。
2020年12月，谷歌要求蒂姆尼特·格布鲁（Timnit Gebru）撤回或修改一篇关于大型语言模型风险的论文（即《随机鹦鹉》的前身版本），格布鲁拒绝，随后被谷歌解雇或被迫辞职（双方对这件事的叙述存在分歧）。
2021年，格布鲁的同事玛格丽特·米切尔（Margaret Mitchell）在调查此事期间被谷歌解雇。
这件事在 AI 学术界引发强烈反应，因为它触碰了一个核心问题：企业雇佣的 AI 伦理研究者，能否对雇主的产品进行真正独立的批评性研究？ 当研究结论威胁到商业利益时，谁有权决定这项研究能不能发表？
格布鲁和米切尔事后创办了 DAIR 研究所（Distributed AI Research Institute），明确定位为独立于企业资金的 AI 伦理研究机构。这件事也让很多研究者开始认真思考”在大公司内部做批评性研究”这条路是否走得通。
五、阿西莫格鲁：技术与权力的政治经济学
诺贝尔奖与 AI 批评
2024年诺贝尔经济学奖颁给了达龙·阿西莫格鲁（Daron Acemoglu）、西蒙·约翰逊（Simon Johnson）和詹姆斯·罗宾逊（James Robinson），表彰他们对制度与繁荣关系的研究——也就是《国家为什么会失败》背后的那套理论框架。
有趣的是，正是这位新科诺贝尔奖得主，在最近几年写出了对 AI 最系统的政治经济学批评：与约翰逊合著的《权力与进步》（2023）。
这本书不是技术批评，而是历史研究。阿西莫格鲁梳理了一千年的技术进步史——从中世纪的农业技术到工业革命再到数字化——试图回答一个问题：技术进步什么时候带来共同繁荣，什么时候只是让少数人更富有？
技术本质：工具还是选择？
阿西莫格鲁的第一个重要论点是：技术不是中性的，它的方向是被选择出来的。
当我们说”农业技术进步了”，这句话里隐藏着一个选择：选择用这项技术做什么。中世纪的很多农业技术进步（比如改良的犁）并没有让农民的生活变好，而是让庄园主能够从同样的土地上提取更多剩余——技术进步了，但利益的分配由权力结构决定。
类似的模式在工业革命时期重演，在数字化时代再次出现。阿西莫格鲁认为 AI 面临同样的选择：它可以走”自动化替代劳动力”的路径，也可以走”增强人类能力”的路径。这不是技术必然性，而是政治选择——只是这个选择通常由极少数人在缺乏民主问责的情况下做出。
生产力潮流：一个一再被证伪的神话
“生产力潮流”（Productivity Bandwagon）是阿西莫格鲁批评的核心概念之一。这个概念描述的是一种反复出现的论述模式：
- 新技术出现
- 少数早期受益者（通常是资本拥有者）获得巨大收益
- 支持者宣称：生产力提升了，蛋糕做大了，好处最终会流向所有人
- 实际上，涓滴效应（Trickle-down）的效果极其有限，普通工人的实际工资可能几十年内都没有实质性提升
阿西莫格鲁说，工业革命后英国工人的实际生活水平在相当长的时间里并没有明显改善，真正的”共同繁荣”是制度性变革（工会立法、劳动保护、累进税制）的结果，不是技术进步自然带来的。
这个历史论据直接挑战了当前最流行的 AI 叙事：AI 会提升生产力，蛋糕做大之后每个人都会受益。阿西莫格鲁的回答是：不，历史告诉我们这不会自动发生。
亨利·福特的悖论与平台经济的反转
工业时代有一个著名的”亨利·福特时刻”：福特提高了工人工资，让工人也能买得起他造的汽车。这被很多人引用为”资本主义能自我修正”的证据。
但阿西莫格鲁指出，福特提高工资不是出于善意或社会责任感，而是因为他需要足够多的消费者来购买他的产品。劳动力既是生产投入，也是消费主体——这个双重属性创造了某种内在的约束机制。
今天的平台经济打破了这个机制。Meta、谷歌、TikTok 的核心商业模式不是卖产品给用户，而是把用户的注意力卖给广告商。用户是否有购买力、是否失业，对平台的收入影响微乎其微——你没有工作，但你仍然有手机，仍然会刷 TikTok，平台仍然能从你身上赚到钱。
这意味着平台经济没有像工业时代那样的内在激励去维持劳动者的收入水平。弗里德曼1970年那篇”企业的唯一社会责任是增加利润”的文章，在平台时代有了新的、更彻底的实现路径。
AI 应该往哪个方向走？
阿西莫格鲁不是说 AI 不应该发展，他是说 AI 的发展方向需要更明确的政治选择。
他区分了两种 AI 发展路径：
自动化优先路径：用 AI 替代人类完成的工作，减少劳动力需求，降低成本，提升利润。这条路对资本拥有者有利，对劳动者不利。
增强人类路径：用 AI 辅助人类做更好的工作，提升人类工作者的生产力，让他们能做以前做不到的事。这条路在分配上更均衡，因为劳动力仍然被需要，工资有提升的空间。
这个区分听起来直白，但要真正影响 AI 的发展方向，需要的是制度性的力量：研究经费的导向、监管框架的设计、反垄断执法的力度，以及最根本的——哪些人在做这些决策？
六、他们在争什么
把这四类人放在一起，会发现他们实际上在争几个层次上完全不同的问题：
末日论者争的是：在超级智能出现的假设场景里，人类是否有能力保证安全。这是一个哲学-技术问题，依赖对未来的高度不确定性预测。
怀疑论者争的是：当前的 AI 系统究竟有没有理解力。这是一个认知科学-哲学问题，关于意识和意义的本质，可能永远没有完全令人满意的答案。
警醒者争的是：AI 发展的速度和当前产品对弱势群体的具体影响。这是一个经验性问题，有可测量的指标，尽管测量本身充满争议。
阿西莫格鲁们争的是：谁从技术进步中受益，由谁决定。这是一个政治经济学问题，需要历史分析和制度设计，不是纯粹的技术讨论。
这四个层次之间有交集，但也有真实的断裂。末日论者和警醒者都用”AI 危险”这个框架，但他们的危险是完全不同层次的危险。怀疑论者和乐观派都在讨论”LLM 能不能理解”，但这个分歧很多时候其实是定义之争——“理解”这个词本身就是问题所在。
一个相对清醒的立场是：
- 末日论的具体时间表难以评估，但对齐问题是真实的技术挑战，值得认真投入研究资源
- 怀疑论关于”LLM 没有理解”的哲学论证有其力量，但它不能解释 LLM 在某些任务上的惊人表现；两件事可以同时成立
- 警醒者的核心诉求——放慢速度、评估影响、保护弱势群体——在道德上难以反驳，但”放慢”在竞争性的全球环境里是一个政治难题
- 阿西莫格鲁的历史论证是最难被驳倒的，因为它基于已经发生的事情；但历史类比也有其局限，数字技术和蒸汽机毕竟不是同一回事
AI 的反对派不是敌人，是提问者。他们问的问题，比 AI 乐观派给出的答案，往往更难、也更重要。