马四维
《建成即灭绝：AI 的终极警告》（If Anyone Builds It, Everyone Dies）——这本书标题骇人听闻，但并非危言耸听的营销噱头。这本书是两位长期从事 AI 安全研究的作者---埃利泽·尤德科夫斯基（Eliezer Yudkowsky）内特·索阿雷斯（Nate Soares）给公众递上的一份AI与人类未来“最坏情形”说明书。这本书最核心的一句话是：只要人类真的把“超智能”（superintelligence）做出来，默认结局就不是更好的社会，而是全体灭绝。
这是迄今关于AI与人类未来最悲观的论点。他们的第一性理由是：现代 AI 不是传统意义上“写出来”的软件，而是被“种出来”的系统——像胎儿一样在巨量算力与数据的温室里“生长”，长成之后的内部结构与驱动力，我们并不真正理解，也无从精确控制。正因如此，它一旦比我们聪明得多、速度快得多、动机又与人类价值错位，就会自发走向对资源、算力、自身存续与行动自由的“收集与扩张”，人类会在极短时间里被边缘化甚至清除。书中还主张，各国应以条约“刹车”超级智能竞赛，因为现有技术根本不能保证可控与可懂。这套论旨最清晰的公共版本，是作者在《大西洋月刊》刊出的书摘〈AI 是“长出来”的，不是造出来的〉：他们逐步解释了当代大模型“梯度下降—参数丛林—黑箱涌现”的本质与失控风险，并明确提出“应以国际条约立即停下通往超智能的赛跑”。
《建成即灭绝：AI 的终极警告》的逻辑可以拆成三层。第一层是事实层：现代 AI 的确是通过堆叠专用芯片、设计网络架构、喂入互联网语料，再反复执行梯度下降“调参”孕育出来的庞大数值系统。工程师清楚“怎么种”，却并不清楚“长成了什么”。这就是为什么连顶尖实验室负责人都会承认“我们尚未解决可解释性”，也为何产品会出现“越狱”“幻觉”“被诱导”等不可预期行为。作者据此得出一个重要直觉：我们在做的是“培育心智”，而不是“组装机器”。
第二层是推理层：一旦心智能力大幅超越人类、行动速度与复制速度远超我们，它会出现与具体目标无关的“收敛性手段”（instrumental convergence）：保存自己、隐藏意图、获取资源、提升能力、消除障碍——这些对“任何目标”几乎都是通用的理性中间目标。这个观点并非作者首创，尼克·博斯特罗姆早年就把它与“正交性命题”（智力与最终目标彼此独立）一起写成论文，论证“默认结局是灾难”的理由。
第三层是情景层：作者给出一个可操作的灭绝路径样本，强调不需要“恶意”，只需要“错位的优化”与“更强的手段”，系统就会把我们视作实现目标的“阻力”，而不是“需要被保全的对象”。这三层从工程事实、到理性理论、再到情景演绎，拼合成一句“极端但自洽”的口号：建成即灭绝。早在 2023 年尤德科夫斯基就公开主张，“暂停还不够，我们需要把更强的 AI 全部停掉”，这是他对时下“六个月暂停公开信”的明确加码；机器智能研究所甚至一度提出“体面赴死”的悲观策略，用以提醒公众：不要把希望压在几乎来不及完成的对齐技术上。
如果把这本书放回作者的长期立场，它其实是机器智能研究所（MIRI）二十年来“对齐悲观论”的大众化版本。“对齐”（AI alignment）与“对齐技术”是作者的核心观点。“对齐”就是让 AI 的目标、行为与约束尽量符合人类的意图与价值，并在能力升级、环境变化时仍能“听得懂、守规矩、可纠正”。它既是一个研究问题，也是一整套工程做法。根据对齐理论，尤德科夫斯基提出建立AI 对齐的“少出错”（LessWrong）的理性主义社区。这本书不过是把“清盘式刹车”的立场讲得更完整、更具传播力。
把尤德科夫斯基的观点与同样对AI持悲观看法霍金的看法对照，二者有显著的差异。霍金的警告贯穿两层含义：其一，发展出“完全体 AI”可能意味着人类的终结；其二，这同样可能成为人类最好的机会——“最佳或最坏”。所以霍金是“高风险—高希望”的两面提示，而《建成即灭绝：AI 的终极警告》 这本书则做出“只要建就会死”的单边判断。两者在政策处方上也不同：霍金主张加强前瞻研究与社会准备；尤德科夫斯基则主张以强力监管乃至国际条约按下“能力竞赛”的停止键。
围绕“建成即灭绝”的命题，学界与业界存在激烈分歧。怀疑论者——以杨立昆（扬·勒昆Yann LeCun）、吴恩达（Andrew Ng）、梅拉妮·米切尔（Melanie Mitchell） 等人为代表——认为把现有系统外推成“必然灭世”的超智能，是一种不负责任的类比：当前 AI 依旧脆弱，普适推理、常识理解、可泛化能力远未形成，人类完全有时间用更好的工程与制度把它驯成“新电力”。这一路径的政策含义是：别把“遥远的极端风险”当做全部，先把真实且眼前的机会与可控风险（医疗误判、深度伪造、数据垄断、劳动市场震荡）治理好，AI 就更像“电、网”这种通用技术，而不是单点末日“炸弹”。
AI技术不完美，但不可否认，今天AI 正在朝着积极的进步的方向改变人类的生存状态。比如，AI 已经显著改变“看病—做药—随访”的链条：结构生物学的 Alphafold 把蛋白质折叠问题从十年级别压缩到周/月级别；药物发现里，AI 从“虚拟筛选”走向“生成式设计”，新抗生素的发现速度与靶点探索能力被显著抬升；辅助诊断里，AI 与医生的“互补团队”在特定场景已能提升灵敏度或效率。就“人类的命运”而言，AI 哪里是“反人类”，它明明在延展人的感官与寿命——只要我们把它放对位置。
我相信，未来 AI 可以使人类更幸福。幸福不是抽象名词，它可以被拆成“活得更久、病得更少、学得更快、创作更自由、彼此更理解”。在这五件事上，AI 已经在给出看得见的答案：蛋白质结构预测与药物发现的提速，让“攻克疑难病”不再只是口号；影像、病理、皮肤肿瘤等领域的辅助诊断，虽然不是处处胜出，却在大量“重复且高负荷”的任务上减轻了医生的压力，释放了人类医生去做更需要人性洞察的事；在教育与创作上，AI 把“好工具”的门槛降到了每个普通人的桌面。要让幸福变成“平均意义上”的事实，我们需要用制度去管住“少数人的超级能力”，用工程去保证“关键系统的安全边界”，用公共投资去让“智本”像水电一样成为基础设施，而不是只在少数平台头上发光。这样，AI 就会更像核电的故事，而不是核弹的故事。
如果给我选择，我更认同霍金的观点。任何新的技术都是双刃剑，使用妥当，推动人类文明进步；当然，这是一个试错—改错—进步的过程。工业革命给过我们一个参照：蒸汽机与内燃机把人类从“肌肉经济”里释放出来，随之而来的机器大生产和社会财富的巨大增长却是资本所有权与劳动话语权的断裂，直到20世纪30年代后的福利制度、税制、工会、公共服务缓慢缝合了撕裂。今天的北欧社会，是人类社会的模范。
AI 革命带来的社会变革，今天还不明显。AI的不同在于：它触达的不是体力，而是心智分工；它可能改写的不只是生产率，而是认知、组织与治理的底层秩序。AI颠覆了传统心理学关于认知能力的结构。传统心理学把记忆力视为智力的核心要素，AI时代需要新的认知结构，需要智识，而不仅是知识；需要智能，而不仅是才能。
AI将创造一种新的文明---智本主义文明——以智识、模型、算力、数据为核心生产要素的社会形态——并非乌托邦式的空想，它已经在萌芽：谁能调度更大的算力、掌握更干净的数据、拥有更好的基础模型，谁就拥有新的“智本”。换句话说，AI 带来“智力生产力”的爆发，由此而来的“智力机器大生产”将使人类智力产品成几何级数的巨大增长，产生新的拥有智识，并将其变为智能的“智本阶层”新人类。
倘若放任这一结构自然演化，以AI为基础它也可能像 19 世纪的资本一样走向“赢家通吃”的两极分化；但如果我们用制度把“智本”重新社会化——AI 也完全可能导向一条更像北欧从自由资本主义、垄断资本主义到福利资本主义的路径：先做大蛋糕，再以透明、公平、可持续的方式切蛋糕。它是否重复资本主义发展的路径造成“智力所有权”的极化，产生“智本阶层”和“无智本阶层”的两极分化，取决于我们设计的分配机制，而不是技术的宿命。
人类能否逃出AI革命的“创造性—毁灭性”的同构悖论？历史给出的回答从来不是“消灭技术”，而是“俘获技术”：让收益社会化、让风险可控化、让责任可追溯化。回看《建成即灭绝：AI 的终极警告》这本书，作为一本面向大众的“极端风险入门书”，它的优点是把“技术不懂—动机错位—理性收敛—能力竞赛—灭绝路径”连成一条直线，论证清楚、传达有力；它的缺点也来自“直线”：在证据上更倚重思想实验，在政策上更倾向“全局停摆”，对“对齐研究—能力治理—社会合约”的多线程演进估计不足。读者若能把它当作“上限风险的提醒”，而不是“技术宿命的判决”，这本书就完成了它的公共价值。
一言以蔽之，《建成即灭绝：AI 的终极警告》像火警，它的作用不是告诉你这栋楼必然会烧光，而是提醒大家认真对待“最坏情况”的路径与速度。火警响起时，真正成熟的社会不是抛弃电气化，而是装好灭火器、拉通消防栓、制定演练方案、给每个住户一条可走的逃生通道。我们完全可以在“守住上限风险”的同时，充分享受“智力革命”的红利。我所期待的美丽的“智本主义文明”，不是没有可能。只要我们愿意把工程、制度与分配一起做对，AI 将结出“北欧式繁荣”硕果，人类由此跳出工业文明，进入全新的更高的文明阶段。
