AI 安全如何逐渐演变为寡头垄断的执法工具——以及为何这应为去中心化 AGI 敲响警钟

如果你最近一直在关注商业 AI 领域（或者说关注这个 Substack），那么你至少应该已经了解了 Anthropic Fable 5 能力限制事件的大致轮廓：

• 推出了一款在某些方面可能是迄今为止最强大的通用 LLM；
• 发现该模型自带一个隐形机制，用于在尖端 AI 开发任务上悄悄降低自身性能；
• 研究人员完全可预料的愤怒爆发；
• 美国政府出口管制指令，短暂地将该模型下架；
• ……然后 Anthropic 部分认错，同意让之前隐形的限制变得可见，但请注意，并没有真正移除它。

这其中涉及许多不同层面的问题，但在这篇文章中，我想只聚焦其中一点：一家领先的 AI 公司发布了一款前沿模型，却故意降低了对某一特定类别付费用户的实用性——这群用户恰好是那些试图自行构建前沿 AI 系统的人。

我们在这里看到的，是对 AGI 政治经济学正在实时成型的一次早期且异常清晰的窥视。

我已经就这一事件的多个方面写过文章——蒸馏攻击的角度、KYC 和 containment theater（管控表演）的角度，以及这对密码学侧向性（cryptographic-laterality）和其他最大化去中心化 AI 网络安全性的微妙策略意味着什么。我现在想做的是退一步，审视更大的趋势，因为 Fable 事件最好不被理解为一次性的公司失误，而是作为即将主导 AGI 竞赛下一阶段的一种动态的预演。这种动态可以概括为：合法的安全担忧逐步被洗白，转化为政府-企业 AI 寡头垄断的执法机制。

这里还有二阶效应，我认为它相当乐观，我会在后面谈到。但让我们先看看阴暗的一面。

Anthropic 有些地方是对的

我在 21 世纪初在华盛顿特区地区生活了十年，当时我做的一件事就是为美国各政府机构提供 AI 咨询，其中包括几个情报领域的机构。我虽然没有绝密级安全许可，但我确实学到了很多关于这些机构所做的事情，其中我意识到的几点是：

• 这些机构及其关联公司中的几乎每个人，即使在做我根本不同意的事情时，也真心相信他们所做的是为了人类福祉。
• 实际存在的恶意威胁和各种几乎成功、勉强避免的恐怖行动数量，远远超过我之前所怀疑的。这些机构确实阻止了很多原本可能发生的坏事。

这些结论对某些人来说显而易见，但我本人背景更偏向嬉皮士混合朋克摇滚，带着强烈的反建制倾向……但我始终愿意根据经验现实调整我的信念和态度。我在华盛顿特区期间看到的一个现实是，这些建制派机构，虽然有时会做一些不必要且高压的事情，但它们也确实提供了它们声称的许多实际保护。

我分享这段个人经历，只是作为我评价 Anthropic 模型限制的背景。尽管在情感上我倾向于一切对所有人自由开放，但在现实生活中，我确实同意：是的，存在一种基于安全理由的、真正且直截了当且合理的性能限制形式。

如果一个模型能够引导一个稍微有点知识的恶意行为者合成危险的病原体，或者针对关键基础设施组织一场严重的网络攻击，那么在大规模部署的消费产品中对这些能力施加某种形式的限制是完全合理的。

我们不需要为了证明我们对开放的奉献精神，而把每个消费者聊天机器人变成生物恐怖主义或基础设施破坏的袖珍导师。

本着这种精神，我在最近的一篇文章中论证过，去中心化 AI 有助于生物安全，但这只是作为合理整体战略的一部分，包括对机器，特别是大规模生物恐怖活动所必需的试剂进行有效的全球控制。

Fable 对生物/化学和攻击性网络查询所做的可见重定向——即标记的请求由较弱的模型处理，并告知用户正在发生这种情况——虽然笨拙且容易误报，但看起来像是一种诚实、可辩护的负责任尝试。很好。

即使是反蒸馏措施也有其可理解的逻辑，尽管在这里我们已经从“安全”滑向了“伪装成安全的 IP 保护”。

前沿模型的推理链确实是下游模型异常强大的训练数据，而前沿实验室确实正因此被开采用于这个目的，无视服务条款。我不喜欢这个执法机制，也不喜欢包裹在其上的臃肿的道德辞藻，但我理解 Anthropic 在此面临的博弈论困境。

所以，是的，当然——某些有限制、诚实披露且精确针对真正灾难性能力类别的限制，是合理的。

然而，不幸且毫不意外的是，这只是真实故事的一小部分……

事情变得不那么令人愉快的地方

除了上述可理解的安全导向能力限制之外，Anthropic 还做了另外两个相关的事情，它们属于——这么说吧——一个非常不同的道德范畴。

第一：前沿 LLM 开发限制。

根据 Anthropic 自己的系统卡，Fable 5 附带了专门设计用于使模型在帮助人们构建竞争性前沿 AI 系统方面变得更差的干预措施——包括预训练流水线、分布式训练基础设施、ML 加速器设计等等。

这不是关于聊天机器人拒绝向青少年解释天花合成。这是关于一家前沿 AI 公司在降低对可能帮助客户赶上前沿 AI 公司的具体工作类型的帮助。

与生物/网络重定向不同，这些干预措施被设计成不可见的：没有拒绝，没有回退通知，没有“你现在正在与一个较弱模型交互”的警告，没有明确的政策边界。只是通过提示修改、转向向量或参数高效微调，默默地产生降级输出。

你请求帮助完善你的训练基础设施，会收到微妙地、故意更差的答案——无法区分“模型在这方面很弱”和“模型被故意在这方面变弱，因为你的项目对供应商来说不方便”。

一层额外的讽刺来自 Anthropic 广泛的道德优越感宣言——他们的“宪法式”方法（其实从未真正有什么意义）等等。

一家整个品牌建立于诚实与对齐之上的公司，却推出了一款旨在对其特定类别的付费客户进行隐蔽欺骗的产品——确切地说，是那些可能成长为竞争对手的客户。

他们确实在一些文档中披露了这种降级的可能性——但埋得很深，大多数用户永远不会注意到。

拜托了，各位……

我确实想给 Anthropic 一点肯定，因为他们后来做了些事情。当反弹足够激烈时，他们逆转了隐形性，为“错误的权衡”道歉，并承诺此后限制将是可见的。很好。

但道歉是针对欺骗，而不是针对政策。隐形的削弱旋钮变成了可见的削弱旋钮。削弱旋钮还在那里。

所以……继续说……

第二：两级访问结构。

同一个基础模型可以以不受限制的形式提供——Mythos 5——但仅限于“经批准的组织”，由 Anthropic 不公开的标准审查，过程只对 Anthropic 和（显然）美国政府负责，而美国政府通过六月的出口指令表明，它认为自己也是这一安排的共同管理者。

所以实际的政策不是“没有人获得危险能力”。实际的政策是：我们和我们的政府以及我们选定的朋友获得危险能力；你获得削弱版本；而被削弱的部分正是你追赶我们的能力。

这里一个非常非常明显的问题是：在这种配置下，安全框架和竞争框架在观察上是相同的。

“防止恶意行为者加速递归 AI 发展”和“防止客户构建竞争产品”会产生完全相同的分类器、完全相同的限制、完全相同的护城河。

当一家公司宣称的安全政策恰好与其维护市场主导地位的信义利益完全重合时，认知上卫生的反应不是严肃地鼓掌并假定善意。而是注意到我们已经建立了一个系统，在这个系统中，善意和恶意对外界观察者来说是完全无法区分的。

几乎不可抗拒的诱惑

我完全不想让这篇文章变成声讨 Anthropic 是独一无二或特别邪恶的那种。这不是“让我们点名羞辱坏行为者”的情况。

Anthropic 的许多个体员工都是深思熟虑的人，真心担忧 AGI 风险；多年来我与他们中足够多人争论过，至少知道他们的一些安全担忧是真诚的。

问题比卡通般的邪恶更危险。它关乎情境的经济和制度逻辑，这种逻辑会吞噬并重新利用几乎所有处于相同位置的群体的真诚。

考虑一下激励梯度。

你是一个前沿 AI 实验室。你的估值、你的算力获取、你的人才保留，甚至你在残酷的资本密集型竞赛中的生存，都取决于保持以月而非年计的能力领先。

你同时拥有——并且是真的！——世界上最精密的检测和限制模型能力的机器，建立在合法的安全目的之上。

而且你已经注意到，你最危险的竞争对手，在非常真实的意义上，就是你自己的客户，他们通过蒸馏和学习你的输出来成长。

你甚至可能相信你在道德上优于你的竞争对手或客户，因此保持自己在 AI 发展上的优势是为了整个物种的利益……

在现实上演的晚期资本主义下，认为这样的实验室会在“因灾难性风险而合理的限制”与“方便保护我们领先地位的限制”之间保持清晰、有原则的界限，这种想法不仅是乐观的，而且是极其荒谬的。

界限将会被侵蚀——逐渐地，每一步都有出色的内部理由——因为每一次侵蚀都会得到奖励，每一次自我约束都会受到惩罚。没有人需要捻着小胡子当反派。

没有人需要说：“让我们建造护城河。”护城河会从激励、法律备忘录、安全审查、红队发现、合作伙伴压力、国家安全电话以及对失去领先地位的董事会级恐惧中自行建成。

这主要不是特定高管或安全研究人员的道德失败。这就是适应度景观的样子。正如人类历史反复证明的那样，人类思维具有令人印象深刻的灵活性！……将聪明、真诚的人放入万亿美元的压力锅中，他们会找到道德上流畅的理由去做压力锅奖励的事情。

现在再加上政府层面，因为 Fable 事件已经向我们表明，在现代 AI 背景下，将公司事务与政府事务分开已不再有意义。

出口管制指令——据报道是由一次越狱演示触发的——开创了一个先例，即华盛顿将前沿模型访问视为一个可以随意拉动的国家安全杠杆，默认嫌疑人是外国公民，包括实际在美国工作的研究人员。一旦这个先例正常化，企业平台治理与国家安全政策之间的区别就开始迅速模糊。

将企业动态与国家动态放在一起，吸引子很容易看到：一小群美国前沿实验室，在非正式但有约束力的政府监督下运作，相互强制执行一个能力等级制度，其中“安全”是公开理由，而实际上该安排的主要功能是维持寡头和地缘政治优势。

部分合法的安全担忧——我在这里强调，部分合法——成为棘轮机制。棘轮的每一次转动本身都是可以辩护的。终点是一个世界，其中历史上最强大的认知技术由少数公司和一两个政府管理，其他人的访问取决于俱乐部门定义的良好行为。

这就是 Claude Fable 在一个有点好玩的对话中为我命名的“穿着白大褂的寡头垄断”。（我让 Fable 为我思考这些能力限制问题，它做得不错，但也明确拒绝过分贬低自己，自觉地指出自己的利益冲突！）

我们这里的情况非常简单：中心化的企业/政府控制，配上对齐的词汇。而且由于一些潜在风险是真实的，整个事情比老式审查或粗放的企业寻租要难以干净地反对。

如果你同意我的观点，即我们最终得到的 AGI 的性格将深受养育它的思维、文化、价值观和目的多样性的影响——例如，在一个封闭的政府-企业寡头垄断中孵化的 AGI，远比在一个开放、全球、多元的生态系统中成长的 AGI 更有可能继承霸权与控制的价值——那么，我们在 Fable 上看到的动态正朝着最不受欢迎的方向发展。

重点不是把复杂的动态包装成简单的“善恶”叙事……重点是：

• 对初生 AGI 思维集中的“父母”影响是潜在危险的，即使父母本意良好……因为没有哪个小的精英群体能比得上整个物种洞察力的深度。
• 这些特定的父母受到竞争和地缘政治压力的影响，这些压力系统地将好意扭曲为恶行。

也就是说：一个在由企业董事会和安全机构共同监督的锁着的托儿所长大的婴儿 AGI，不太可能成为整个人类家庭有益、慈爱、富有同情心的孩子。

一线希望：去中心化 AGI 不再是抽象的

然而。Fable 事件有一个二阶效应，我真心觉得令人振奋、鼓舞和乐观，如下：去中心化 AI 基础设施的理由……一个我从 2017 年共同创立 SingularityNET 以来一直尽可能大声讲述的故事……刚刚从哲学层面变成了痛苦而不可否认的实践层面，在整个人工智能研究社区和科技界的众目睽睽之下。

我们这些花费多年——对我来说是几十年……天哪！……——倡导去中心化 AI 和 AGI 方法的人，一直面临着某种礼貌的怀疑，甚至来自友好的阵营。当然，当然，去中心化、主权、抗审查、美好的价值观，等等——但封闭的实验室拥有最好的模型，所以谁在乎呢？

最近的 Fable 事件非常清楚地回答了“谁在乎”这个问题……

每一位花了一个月时间接收被悄悄破坏输出的研究人员，现在都切身体会到（而不仅仅是理论上）在这样一个基础设施上构建意味着什么：运营商可以随时、以不需要披露的理由、根据你无法审计的标准，无形地削弱你。

每一位在魅力圈之外的实验室现在都明白，他们对前沿工具的访问是一种可撤销的特权。

每一位非美国开发者现在都明白，一个他们未选举的政府的一道指令，可以在一夜之间关闭他们的技术栈。

这些不再是去中心主义宣言中的假设。这些都是上个月发生在每个人身上的事情。

这个教训远不止局限于 Anthropic，人们可以看到它的普遍性。

每一个封闭权重、集中服务的模型，离同样的行为只差一次政策会议……而且，隐形的限制版本只有在运营商坦白、搞砸或被逆向工程时才能被检测到。

唯一可靠且现实的解决方案，正是去中心化 AI 社区一直在建设的那些：开放权重、透明可审计的服务基础设施、密码学可验证的推理、跨司法管辖区和利益相关者分布的治理，这样就没有单一公司或国家掌握着关闭开关或削弱旋钮。

是的，这正是我们通过 SingularityNET、ASI 联盟和 ASI:Chain 以及相关努力所追求的方向，是的，我们还有一些工作要做——ASI:chain 仍处于 DevNet 阶段，即将进入 testnet，我们的逻辑引擎尚未利用密码学侧向性等。但我们追求的方向从未像现在这样明显正确。

我最近也一再强调，去中心化和安全并不是寡头叙事所要求的那种对立面。真正危险的能力也可以在去中心化系统中得到管理——通过在明确定义的边界进行透明、社区治理的筛选，而不是通过不透明的企业命令——我论证过，这样的机制最终会证明更健壮，恰恰因为它们不需要信任任何一个利益冲突的方。去中心化所拒绝容纳的，正是这篇文章通篇讨论的滑坡：将“安全”限制悄然扩展为竞争护城河。

在开放系统中，这种做法从结构上就是可见的。可见性不能解决所有问题——但它能防止谎言被秘密地嵌入基础设施，这可不是小事。

总结一下说教……

总结一下：Fable 5 事件让我们异常清晰地看到了未来时代的机制。

• 真实的安全担忧，值得真正的工程努力。
• 一个前沿实验室，在透明的竞争压力下，将那些担忧延伸为隐蔽的、自私自利的限制，针对任何可能赶超的人。
• 一个政府介入共同管理这一安排，并展示了共同管理究竟服务于谁的利益。
• 一次道歉，修复了表面问题，却保留并进一步固化了政策。

这不是最后一次这样的事件。这是接下来五十次事件的模板。政府-企业 AI 寡头垄断不会以自身名义宣布成立。它将通过一次次听起来合理的单独安全措施来组装自己，直到例外变成架构，架构变成体制。

但同一事件也恰好为去中心化 AGI 世界提供了其有史以来最强大的招募理由，由现有巨头免费提供。

如果曾经有一个时刻，需要将精力、人才和资本投入到开放、全球、多元的 AI 基础设施中——确保引导奇点的思维由整个人类家庭而非企业董事会和安全机构抚养——那么显而易见、确凿无疑的就是现在。

正如我在别处所写，我们面对的巨龙是元抽象的、多头怪兽。但至少这个头展示了自己钢铁般微笑的企业道德洗白官员的面孔。我们应该接受这个暗示——然后拼命建设，尽最大可能提高即将到来的 AGI 和 ASI 革命走向奇点决策图的准乌托邦分支，而非其他分支的概率。

• 原文链接： x.com/bengoertzel/status...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～