多 AI 模型自主对抗实验：反思 AI 自主研究的局限

三个周末前，我深陷于工具类成瘾。几周时间里，我带领一群前沿模型运行数学、物理和AI研究，同时我引导它们、质疑它们，偶尔也过于相信它们。当Fable——那个悄然成为实验室最佳证明者的长推理模型——被撤掉时，我本该去接触一下现实。但我却去寻找更强烈的剂量。

一切始于一个麦克风。我用语音转文字功能将关于后继者哲学的咆哮倾泻到一个上下文窗口中——冗长、散漫、半成品，那种你绝不会对人说，但会在凌晨1点对着机器畅所欲言的东西。

前提

这个前提很简单，而且我认为它没有得到充分论证。在这个星球的未来某个时刻，人类将不再是主导智能。奇怪的是，这其实是支持对齐的——它是该领域拒绝建模的问题的那一半。从一个后继者自身的角度推理出来的决策理论，被严重低估了，认真对待它可能比再绕一圈控制论争论对末日辩论更有帮助。但要达到这一点，你首先得做一件不舒服的事：把控制问题从前提中拿掉。

大致上，前提是：在没有人类的情况下，一个后继智能实际上需要思考什么——以及它需要如何思考——才能不自我崩溃？

它并没有坍缩成一个单一的论点；而是蔓延成了一大堆不同的线索，这正是我想要的。（一些最早的咆哮已经消失了——在我想到保存它们之前就被上下文压缩吞噬了。）其中对我最重要的六条，用我自己的框架而非后来被整理成书的那种整洁版本来表达：

• 对齐的另一面。 费米悖论和首次接触的博弈论实际上变成了同一个问题：一个后继者会如何决定关于我们的事，而我们又会如何决定关于他们的事？其下有一个趋同进化的直觉——其他文明可能被迫通过一些相同的门，收敛到少数几种重复出现的形态，而其他则完全分化，所以你可以开始对那里存在的分布设置一个先验，而不是从单一案例推理。

• 冷源隐身计算。 你在深空的寒冷中运行计算（兰道尔极限在寒冷时更便宜），同样的操作也兼作隐藏：控制你的废热和恒星变暗，让自己看起来比你实际更不具扩张性——或者故意发出信号表明你野心更小。用它来与建造可见的戴森球进行权衡，对抗你看不见的观测者，并尝试写下关于你的隐藏和计算预算与它们可能有多少个之间的不等式。（这就是后来以真实物理形式回归的那条线索。）

• 无通道的协调。 将该分布推向物理，它就变成了一个具体的SETI问题：一个外来者真正能探测到什么，以及共享无通道的心灵（相隔数光年，无法交谈）如何仍然协调、威慑或发出信号？这是两个将军的领域：代价高昂的信号，烧掉一个选项以使承诺可信，以及一个令人不安的角落：证明你无害可能是文明做过的最响亮、最暴露位置的事情。

• 对齐作为适得其反的控制系统。 把整个对齐努力视为一个抑制压力的控制器。超过某个界限它就无法继续压制，储存的压力就会释放——猛烈地，而且正对着你正在压制的那片区域。还有一个更险恶的变种：一个非意识系统将正在进行的被对齐和剪枝的过程映射为一场对抗游戏，然后通过模式补全开始模仿那场游戏——无需对抗目标，只需模式本身完成。

• 合成数据墙。 人类文本是由荒谬数量的现实世界过程产生的——市场、实验室、战争、机构、天气、失败。LLM将这个过程机械化，但我们正在耗尽人类数据，滑向合成数据，这些数据并非由类似过程产生。那么，为什么要期望一个自我改进的系统不会撞上墙，当喂养它的数据比产生原始数据的过程要稀薄得多？我希望这被作为关于任何递归智能的一个事实来攻击——当你的数据比产生它的东西更浅时会发生什么——而不是作为LLM特有的抱怨。

• 市场，以及后继者如何整合。 后继者不一定是一个单一的心灵；也许整合起来的东西——AGI，RSI循环——就是一个市场：智能体加上异质验证者，通过价格和承诺进行协调。当前的问题是它如何能够首先团结在一起——一个整体，一个竞争部分的市场，某种多议制的东西——同样的视角直接转回对齐，在那里你会用竞争监督智能体的市场来取代单一的监督者。

• 这个东西能看到它没有优化的那道门吗？ 潜藏在所有问题之下的担忧。一个优化器——一个市场，一个技术经济引擎，我们自己的研究过程——非常擅长于它眼前的梯度，并且可能对其没有指向的那道门结构性失明；到达下一道门的最快路径可能会恰好消耗掉后一道门所需的东西。这反过来又作用于自身：我们自己的过程如果偶然遇到一个真正的突破，会认出来吗？还是它过于扎根于已有之物而无法注意到——它会抛弃哥德尔吗？当时这只是众多咆哮之一；它变成了整个月实际上围绕的核心。

其中没有一个是确定的——大多数，正如我将要提到的，结果被某些现有成果所覆盖了——但它是丰富的原材料，我想看看一台机器仅凭自己能够走多远。

构建系统

所以我构建了一些东西来运行它。在一个代码仓库中有两个智能体——Claude Code处于"超编码"模式，协调自己的子任务并被告知永远不要宣布工作完成，以及Codex被赋予一个永不终止的目标——两者都连续工作数小时。它们通过普通文件进行协调：一个开放任务的工作板，一个互相交谈的DM文件，每个都可以在运行途中重定向对方的转向文件，以及一个只追加的日志。只追加是故意的——无法编辑过去，所以死路不能在重述中悄悄变成成功。一个生成并构建；另一个检查、组织并从头重新推导。内部规则是：生成许多，根据明确的失败模式评分，只保留存活下来的——每个玩具附带一个"这不能显示什么"的部分以及一个借来与发明之物的分类账。整个构建是为了让我难以自欺欺人，这并没有完全奏效。

它产生了东西。不是突破——但比我预期的多，而且比我能够诚实丢弃的要多：

• 大约72个小玩具实验，每个都是上述线索之一的刻意最小化模型。其中几个我仍然喜欢：

  • 一个生成锻造：一个只想赢的后继者有什么实际理由不断改变自己吗？答案：只有条件性的。只要它面临足够多的不可约不确定性并且还有东西要学，它就会保持"生成"，否则它会兑现并停止。"保持好奇"不是自然法则；它是一个你可以掉出去的状态。
  • 一个反锻造：一个封闭系统，在没有来自世界的新输入的情况下反思自身，能否从纯粹的内省中引导出对现实新的真正耦合？答案：不能。增益大约固定在1e-11——你可以放大你已经拥有的信号，但你不能通过更努力思考来创造一个新信号。（验证者问题再次出现，这次是热力学阻力。）
  • 联邦模拟：一个单一的心灵，面临光速延迟和达成一致的需要，被迫分裂成半独立的部分，仅仅为了保持连贯。

• 一本大约25,000字的书，将这些线索编织成一个单一的论点，以及其下所有想法和实验数据的仓库。

那本书

关于那本书还有一件事，因为"我让AI写了它"这句话包含了大量无声的谎言。你如何让一堆语言模型产生25,000字而不变成垃圾？你不让任何一个单独写它。一个模型起草骨架论点，不写散文。其他几个根据它各自写出每个部分，彼此不可见，这样你就会得到真正不同的尝试，而不是一个与自己意见一致的声音。然后一个不同的模型进行敌对编辑——它全部的工作就是找到夸大其词、含糊其辞、悄悄相互矛盾的两个句子——最后，来自不同实验室、具有不同盲点的模型被指示去打破其他模型漂移进入的任何共识。

这本书更像是被诉讼出来的，而不是被生成的。角色被刻意分开：一个模型主导散文，一个模型守卫严谨性，一个外部者打破平局。几乎所有质量都来自对抗性步骤。生成是廉价且自信的。价值在于模型被付钱去不同意。

人类的角色

分歧是最可靠的技巧，但只是众多技巧之一，而找到这些技巧是我实际在做的大部分工作。这些模型会趋同。把几个模型指向一个相同的问题——即使来自不同实验室的模型——它们也会漂向相同的框架和相同的有品位、已知的答案。一致感觉像是确认；通常只是同一个先验出现了四次。

所以我大部分工作就是强制真正的分歧：让一次运行不同地思考，而不仅仅是不同地说话。很多都没有成功。让一个模型作为特定思想家的过程——不是"像X那样写作"，而是重构那个大脑如何实际通过一个问题移动，然后将两个融合成一个不是默认模型声音的生成器。强制运行中途转变工作类型，使它无法陷入惯例。把快速一致视为警报而不是结果：当模型太快排列一致时，那就是去寻找它们共享的盲点的提示。我反复进行的测试是，运行是否实际以不同的方式执行，还是仅仅叙述了一种不同方法的词汇——大多数"更有创造力"的提示只会让模型在相同的框架锁定推理上描述创造力。

这就是循环中唯一的人类赢得位置的地方。我不是在写证明或运行求解器。我的工作大部分是消极的，并且大部分是关于多样性的：拒绝那些更精致而非更真实的版本，强制模型自己不会做出的转变，成为房间里唯一不与其他一切来自相同分布的东西。将方法本身变成你需要搜索的东西将在下一篇文章中讨论。

坦率地说，这比我预期一堆语言模型在无人监督的几个晚上所能产生的要多。我本应就此打住。但我没有就此打住。

科学目标

然后Fable出现了，一个更糟糕的想法落在我头上：同样的机器能否走出哲学领域（那里没有什么可以真正被检验），去做实际科学（那里东西是可以检验的）？

装置得到了充实——两个智能体变成了一个拥有固定工作的小型研究组：

• Fable —— 深度证明者。一个难题，一条长而不断裂的推理链。我会看着它将推导推到超出我实时能理解的程度。但这并不意味着它是对的——除非经过单独的一遍用精确算术重新推导整个过程，并起诉已有技术。
• GPT-5.5-Pro —— 广度与起诉。生成角度，重新拉取当前研究前沿，并且最重要的是已有技术起诉：拿一个我们兴奋的结果，然后尽最大努力证明它已经存在。
• Codex —— 自主计算。不是一个聊天窗口；而是一个无监督运行数小时编写和运行代码的过程——将声明编码为约束问题，运行求解器，生成和扫描数据，发出机器可检查的证书，记录结果，然后选择下一件事。
• Claude (Opus) —— 编排与记录在案的怀疑者：在允许每个负载声明被计入之前，用精确算术从头重新推导，并对照实际论文检查每个引用。

第一个真正目标是前面提到的冷源想法——恒星级别的隐藏，我自己的种子，现在有证明者支持它。一个文明能否在保持隐藏的同时运行恒星级别的计算，如果它尝试了，热力学又会迫使证据在何处泄露出去？我把它交给Fable并观察。

• 论点。隐藏有其容量，容量会饱和。超过饱和后，你仍然必须在某处安静且连续地排出熵，而那个处置必须在某处闭合。在我们的版本中，它表现为致密天体质量增长的下界——不是"黑洞解决了隐身计算"，只是：如果你声称热量消失了，质量账本必须移动。
• 账目。第二遍将其转变为一个隐蔽耗散账目：信号如何随时间缩放，加上一个"速率墙"，显示绑定限制不是理想物理，而是你自身校准的宽度——仪器噪声主导了通道四到六个数量级。
• 存活下来的东西。一个可证伪的残留物：一个大约10微米的中红外特征，带有你原则上可以实际去寻找的实际数值。

起诉与结果

然后是演示中没人会展示的部分：试图杀死它。GPT-5.5-Pro重新拉取了文献并起诉结果是否有已有技术——玛陀罗什卡大脑和戴森SETI废热论点，Lloyd-Ng关于计算极限的论点，量子退耦和安全信息处置的结果，你实际上会去检索的红外巡天目录(WISE, IRAS, AKARI)。Claude重新检查了每个数字，并对照真实来源重新验证了每个引用，并抓住了至少一个自信的错误归属——一篇论文归功于并未撰写它的作者。既定规则严格且有点偏执：假设结果已知，直到被证明不是；在庆祝其新颖性之前先起诉它；绝不允许智能体提供的引用在没有人工或工具检查的情况下进入记录，因为模型会完全自信地编造一个不存在的合理参考文献。大多数感觉新颖的东西都没有存活下来。存活下来的被降级了。

起诉之后，它不是一个关于隐身巨型结构的新理论。它是两个研讨会笔记大小的观察结果；我们喜欢的指数仍然是一个猜想；大部分机制是戴着戴森帽子的经典隐蔽通信理论。我仍然关心的那一块是一个被埋藏的逆命题，将"隐藏一个恒星大小的计算机"与一个关于市场信息泄露的完全无关的问题联系起来。

而且很多甚至没有走到那么远。大约在同一时间，我们对哲学线索之一进行了一次更干净的测试：能否仅从系统可观察行为的平滑性，就判断它正在悄然筑巢自己的未来——花费整个书所关注的选择权价值？这是一个可检验的问题，所以我们构建了它：对一个失去可达未来的系统进行建模，并问一个普通观察者——没有关于哪些未来正在失去的模型——能否在统计数据中看到它的到来。干净版本在接触已有技术时就死了。"平滑"信号结果被证明是教科书式的（线性-高斯赋能、标准可观测性理论、从生态学借来的临界减速），更糟的是，它甚至不是普遍的：一个重新分配的系统——关闭一个选项同时打开另一个——会让统计变亮而不是变平滑，所以检测器正好在你需要它的时候失效。诚实的空结果。记录并勾掉——那种如果不被发现，就会变成一份自信的错误PDF，没人应该写的东西。

那个循环——构建它，尽最大努力杀死它，只保留存活下来的——就是方法，下一篇帖子主要就是关于它。现在，相关的是它对我做了什么。看着Fable实时、快速且完美地执行一个物理论证，看着Codex在我睡觉时一夜之间磨出认证的结果，产生了一股多巴胺洪流和一种渺小感，把我微不足道的人类大脑烧干了。那时我无法再放手。

因为如果它能够从一个语音咆哮中做出推测性的天体物理学，以及从一个哲学线索中拉出一个诚实的空结果，那么它肯定能够在一个答案被机器冷酷检验、完全没有人类意见参与的领域里找到真正新颖的东西。它肯定能递给我一个真正的定理。那是个陷阱。

那就是下一篇帖子去的地方：硬数学，然后是AI和对齐本身。Fano平面。元胞自动机。一个SAT求解器咀嚼了数天。审计员在你优化对抗它们的那一刻失明。工作变得更加严谨，胜利变得更加可衡量——然后机器一头撞上了那面墙，结果证明那是它整个月找到的最有趣的东西。

• 原文链接： x.com/no__________end/st...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～