我为何不签“立即行动”公开信

（提示：“我们”是谁？要采取什么行动？）

我看到这份关于 AI、AGI 和就业的“公开信”——“我们必须立即行动”——但我没有签署，所以简单说说为什么。

这封信本身没什么内容。只有三个段落：1）AI 可能很快变得更强大，是的；2）这可能比工业革命更快地重塑经济，是的；因此 3）我们——指经济学家、政策制定者、技术领袖——必须立即行动……嗯……

当然，经济学家和政策制定者确实应该以反映对当前 AGI 革命有所理解的方式行动，所以表面上看，这是一种没人能真正反驳的声明。但它从未具体说明提议要做什么，而这正是有趣之处。Noah Smith 写了一篇关于他为何不签署的文章，他说的很多内容我都同意，所以我不再重述。他的核心问题也是我的问题：“我们”是谁，要采取什么样的行动？

表层下的线索

虽然这份简短的声明没有说明——但确实有一些相当重要的线索。

最具体的一句是关于将 AI 引导到与人类互补的方向。如果你不仔细想，当然，为什么不呢，我们当然希望这样。

但稍微深入一点看，这暴露了真实意图——这是 Acemoglu 学派经济学 的立场，大致上是反 AGI 的，支持将 AI 发展引导或转向远离自主 AGI 系统，而朝向纯粹作为人类工具和助手的 AI。（这不是偏执狂：Acemoglu 本人确实签署了这封信，并公开表示措辞已经调整以反映他的观点，Noah 的文章中提到了这一点。）

作为工具和助手的 AI 本身没有错——我们需要这些——但我们不希望因此排斥那些能够直接自动化人们目前不得不花费时间枯燥处理的事情的 AGI，而这些人本可以用那些时间去做更有价值的事情。

这里还隐含了第二个观点，即某个足够明智的团体将审视一项正在快速出现、而且在很多方面甚至还不存在的技术，并弄清楚如何将其发展转向他们——凭借其丰富且卓越的智慧——预先决定好的良好结果。

AGI 发展路径的不可预测性

我们这些在 AI 领域待过一段时间的人都知道，没有人——包括我们自己——能够预测 AI 在什么时间点、具备什么能力、能做什么事情，更不用说某项 AI 技术在一个行业的人们以自己灵活的方式调整适应后，会产生什么影响。没有人能在 1760 年代告诉你蒸汽机将对就业产生什么影响，现在也没有人能告诉你哪些 AGI 架构将完全取代人类工作，哪些会与其互补。

当然有一些明显的例子——你会有管道机器人和屋顶机器人，因为非人形在某些工作中更合适……你不再需要雇人写简历了……你可能不会有机器人取代人类教师来教授学前教育，因为那里存在一种深具意义的纽带。但在这些极端之间，有巨大的中间地带，其多样性将超出任何人的预见。

是的，一旦真正达到超级智能，很可能它基本上能做所有工作，除了极少数以人际关系为核心的角色。在通往那个状态的过程中，哪些工作类别被取代，哪些由人类与 AI 互补，达到什么程度，在什么具体时间点——我们没人能预测这一点。我们只能在过程中摸索，疯狂地即兴应对，希望有时候是艺术化的。某个经济学家专家委员会不可能事先为所有人解决所有问题。

平淡声明背后的历史先例

此时我想稍微拉远视角，因为一份看似毫无争议的声明实际上隐藏着更尖锐的议程，这并不是新鲜事——这几乎成了一种体裁，而且有着相当沉重的劣迹。

回到 1954 年烟草行业的“致吸烟者的坦诚声明”，它读起来像是一份关心吸烟者健康、承诺资助开明研究的承诺书……实际上却是长达数十年制造关于吸烟与癌症关联的怀疑、拖延监管的行动的第一步——“让我们仔细研究这个问题”的整点在于，永远仔细研究下去就意味着永远不必采取行动。

或者 1998 年的 俄勒冈请愿书，声称约三万名科学家怀疑人为造成的全球变暖，并且外观经过精心伪装——附带的“评论文章”格式模仿了《美国国家科学院院刊》，还有一封前 NAS 主席的附信——让人们以为他们支持的是某个机构，而实际议程是阻止美国参与《京都议定书》，资金可追溯到埃克森美孚和马歇尔研究所。其签名名单审核不严，以至于恶作剧者混入了查尔斯·达尔文、一个辣妹合唱团成员和几个星球大战角色，美国国家科学院罕见地公开否认了整个活动。

更近一些，同样的手法不断出现在 AI 领域。

未来生命研究所 2023 年的“暂停巨型 AI 实验”公开信，表面上是要求暂停六个月以确保安全，任何关心 AI 的人都可以签署，并获得了数万人签名——但其中的具体诉求却倾向于一种非常特定的治理机制……新的权力机构、计算追踪和基于训练规模的许可门槛，这方便地把梯子抽走，只留给那些已经处于前沿的人。破绽很快显现：签名名单未经核实，立即被假名污染；Yann LeCun 不得不公开表示他从未签署；而 Elon Musk 在签署了让其他人停止的公开信后，几个月后却启动了自己的前沿 AI 实验室。

同年还有 AI 安全中心的一句话声明——AI 的灭绝风险应与流行病和核战争一样成为全球优先事项——这又是一句几乎没人敢反对的句子，并且无论作者意图如何，它都起到了将这项技术描述为如此独一无二的终结世界之威胁，以至于只有一小群已被认可的玩家才能被信任去处理它。

所有这些案例的共同脉络是：平淡无奇是机制，而非偶然。设计成任何理性的人都不会反对的声明，是推动有争议议程的理想载体，恰恰因为它聚集的联盟的广泛性会被悄无声息地转移到后来出现的任何具体内容上——第二封信、政策附件、常设委员会。你把名字借给这个容器，然后就会与从未见过、完全不想关联的内容联系在一起。

我为何选择不签署

所以不，我不信任任何中央委员会——按照这份请愿书的措辞——来建立激励、护栏和制度。在这个“自由的土地和勇敢的家园”里，我足够勇敢地想要我的自由……我不想让任何人替我建立激励、护栏和制度——即使他们是活着的最聪明的人，他们也不会比我们其他人更了解正在发生的事情，仅仅因为他们是一个政府和公司指定的专家委员会。AGI 将是人类有史以来创造的最具影响力的事物，而将其塑造权交予某个中央委员会的冲动，是在错误时刻的错误反应。

“我们必须立即行动”的替代方案不是“什么都不做”。什么都不做，在实践中只是让旧金山和北京的几家大公司做决定的另一种变体——无论决策者是在华盛顿、旧金山还是北京，我都不想让一个专家委员会来决定这一切。

替代方案：开放、去中心化的发展

替代方案是什么？把这一切开放出来！

尽可能让 AI 和 AGI 的发展变得去中心化、参与式和自组织，这样塑造它的实体就不是专家小组，而是非专家的整个地球——多种架构、多种价值体系、多种文化、一整套经济安排，全部并行运行，竞争、合作、组合并相互纠正。我不希望经济转型被交给某个超级明智、自封的管理委员会；我希望人类社会这个全球大脑的多样化机制来引导 AGI 的创造和部署。

因为请愿书声称想要的与人类的实际互补性——现实中的真正互补性——更可能从这种广泛的、自下而上的发酵中涌现出来，而不是由任何人自上而下地设计。

这个层面的互补性不是你可以写进政策简报或软件规范说明的属性。它是一种关系——我们在这里谈论的是生物生命形式与新兴数字生命形式之间的关系——而关系是在实践中、在数十亿人和数十亿亿 AI Agent 相互交互、人们以任何委员会都未曾预料且绝不会批准的方式构建、分支和混搭系统的混乱往复中得到解决的。

这就是我没有签署的原因。不是因为没人应该做任何事，而是因为这份看似无可反对的声明之下偷运的东西，指向了一个中心化、由专家委员会（负责建立激励和护栏，显然最懂行）引导的未来——而我所想要的几乎与之相反：开放、去中心化、由每个关心参与的人塑造，而这恰好是地球上几乎所有伟大事物最初被塑造的方式。

如果这份请愿书的后续版本出现——一个说我们都必须现在一起做，以一种开放的、去中心化的、自由的、而非中央决定的方式——那么是的，我会签署。而且，比签署在线表格更重要的是，我会继续努力让它实现，这正是我一直在做的事。

• 原文链接： x.com/bengoertzel/status...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～