来源 | notes.ethereum.org
作者 | parithosh
这篇文章内容涵盖 Kintsugi 事件的全面总结、它的后果，还有在主网合并前的具体行动计划。
概要：
合并测试网 Kintsugi 在几个客户端上发生了问题。一个 fuzzer 创建了一个无效区块，但客户端 Nethermind 和 Besu 因为缺少一项检查而把该区块视为有效。这个无效区块导致网络分成了三部分——一部分包含无效区块、一部分不包含无效区块，还有一部分进入了Optimistic Sync 模式。尽管修复程序已经部署了，该 fuzzer 又创建了另一个区块，在客户端 Geth 触发了进一步的问题——无法加入正确的分叉。当我们修复了 Geth 的问题，我们就能够把所有的节点带回到相同的正确的分叉，区块链重新开始做最终敲定。
总结
合并测试网 Kintsugi 在前几周的运行中遇到了一系列问题，暴露了多个客户端的几个漏洞。问题主要是由开发者 Marius 开发的 fuzzer 引发的，这个 fuzzer 旨在创建有意思的区块并在网络里对区块进行广播。
一个这样的区块的 blockHash （区块哈希）被替换为它的 parentHash (父块哈希)。engine_executePayload 具备了所有构建一个区块和构建该区块的 blockHash 所需的所有参数。EL （执行层) 客户端应该根据这些参数来构建区块，并根据通过的 blockHash 进行验证。这个特定区块正确无误地没有通过 Geth 的检查，但通过了 Nethermind 和 Besu 的验证。该区块之所以在 Nethermind 被错误地通过验证是因为缓存问题，而 Besu 则完全没有这项检查。由此，该区块被一个 Lighthouse-Besu 节点提议，并导致区块链分叉为两部分，在执行层与 Nethermind 或 Besu 连接的验证者在一个分叉上，而月 Geth 连接的验证者则在另一个分叉上。
请注意，检查当前 区块的 blockHash 是合并新增的要求，因此在某些客户端上会存在缺少或不准确的验证。
Geth 的一个问题是当执行错误的负载时，它返回的是一个 JSON-RPC 错误而不是 INVALID (无效)，而 Teku 的问题是 (此时已修复但还未部署) 认为那些错误在 optimistic sync 模式下是可通过的。因此， Teku-Geth 节点在遇到无效负载时还是进入了 optimistic sync 模式。由于该区块本身是有效的，已连接的 Geth 节点是从网络而不是 engineAPI 获取数据的，因此现在的 Teku-Geth 节点是在无效的分叉链上的。由于 Teku 节点还在有很多漏洞的旧版本上， Teku-Geth 节点保持在 optimistic sync 模式，并在区块链停止做最终敲定的期间拒绝提议区块。我们现在处于这样的一个情况——共识层客户端 (lighthouse、prysm、nimbus 和 lodestar) - Geth (占大约 46%) 与共识层客户端 - Nethermind/Besu (占大约19%) 在不同的分叉上，其他运行 Teku-Geth (大约占35%) 的验证者则处于 optimistic sync 模式。
在找到和部署了 Nethermind 和 Besu 节点的修复程序后，我们就能够让它们重新连上正确的链。Teku-Geth 节点的更新导致了另一个与无效内存访问相关的问题，它由 Geth 上与区块排序验证相关的问题引起。这个具体的漏洞也是由 Marius 的 fuzzer 触发的，这个 fuzzer 产出了一个parentRoot 是有效且 block_number=1 的区块。在 Geth 执行一个区块前，它需要查看它的父块，看看它们是否需要同步。这样做的一种方式是在缓存里检查 parentHash 或在 database 里检查 parentHash 和 blockNumber。由于 Teku 是同时执行所有分叉里的所有负载，缓存就不再包含 parentHash 。因此，Geth 试图在它的 database 里通过 parentHash 和 blockNumber查找其父块。然而，database 并没有这个 blockNumber 的哈希 (这个区块是 fuzzer 构建的)。Geth 会推断，由于它没有父块，它需要开启同步。但是，这样触发的同步会试图同步比权威链更短的的链，这就违反了 Geth 中的某些条件，这导致 Geth 进程错误，节点关闭，导致 Teku-Geth 节点一直处于不健康的状态。
在上述问题的调试中，Geth 团队还在合并的代码库里发现了一个触发错误的竞争条件。此外，我们还遇到其他问题——Nimbus 出现与执行层重新连接相关的错误，Lodestar 降低拒绝出块的对等点分数。
客户端推出了所有的修复，且让所有节点都进行升级。当所有的修复都生效时，区块链会有很多小分叉，每个的参与率都很低。对一些节点进行重新同步可以减少一些分叉。一旦有足够多的节点完成重新同步，我们会看到有越来越多的节点通过重组回到这个分叉上，这使我们能跨过最终确定性所需的 66% 的阈值。
FAQ
这个测试网死了吗？
没有。在我们部署修复程序并重新同步一些停滞的节点后，链最终又开始做最终敲定了。当链恢复最终敲定，它就可以如常运行。目前，Kintsugi 的参与率是大约 99%，这表明所有客户端的漏洞已经得到修补，且网络也运行良好。交易和智能合约交互继续如常运作。
为什么这条链这么长时间不做最终敲定？
虽然我们很早就找到了根本原因，我们想要让链保持非最终敲定状态，让客户端团队调试他们的代码。此外，我们想要收集非最终敲定期间的客户端表现数据。
在分叉链上的验证者会被罚没吗？
不会。每个验证者都包含一个 slashing protection (罚没保护) database，确保验证者不会对可罚没的信息签名。在“错误”分叉的验证者只会被视为在“正确”分叉上处于 inactive 状态。一旦它们重组到“正确”分叉上，罚没 database 会阻止它们对可罚没信息签名。
这会如何影响主网发布？会有新的延迟吗？
我们认为这件事不会影响主网发布计划。在规范本身上没有发现严重的问题。测试网的目的是发现漏洞，我们认为 Kintsugi 在发现客户端实现的边缘情况方面表现很好。这事件是对多个客户端组合的一次很好的压力测试。我们有一个公开的清单，它将指引我们何时准备好在主网实现合并。
这会如何影响测试计划？
我们将研究创建几个强制处于非最终敲定状态的测试网。对这些非最终敲定的测试网进行持续测试使我们可以触发更多边缘情况，和改进工具。在这次事故中发现的漏洞将被添加为静态测试用例，以确保我们会通过回归测试。
对验证者、基础设施提供商和工具开发者的重要启示
测试网上的非最终敲定时期加强了最糟糕情况硬件要求的一些假设。在非最终敲定期，验证者应该预期：
- 由于需要对多个分叉选择规则进行评估，CPU 负载会增加 (有时达到 100%)
- 在非最终敲定期由于不会有修剪，硬盘使用量会增加
- RAM 使用量会有边际增长
这意味着，在同一台机器上运行的任何额外工具或监测都会遇到资源争用问题。Kintsugi 测试网的工具 (区块浏览器、水龙头、RPC) 在具有 3 个节点的 Kubernetes 集群上运行。这个集群还运行多个工具使用的信标节点。由于信标节点使用的资源比预置的要多得多，因此我们的工具经常由于资源不足而以降级的方式运行。对于基础设施提供商来说，谨慎的做法是在不同的机器上运行它们的共识层和执行层，或有严格的资源使用定义。
合并意味着每个共识层客户端都需要运行自己的执行层客户端。(主网上的) 执行层客户端现在需要很大的磁盘容量。在非最终敲定期间，CL 的磁盘使用量也会激增，这会由于磁盘空间不足而导致崩溃。所有验证者应该确保他们有足够大的缓冲磁盘空间来应对这种问题。
依赖于最终确定性的工具开发者应该为非最终敲定时期多做考虑。一种可能的方式是显示 optimistic 信息，同时传达该信息在用户界面是会变化的。
ECN的翻译工作旨在为中国以太坊社区传递优质资讯和学习资源，文章版权归原作者所有，转载须注明原文出处以及ethereum.cn，若需长期转载，请联系eth@ecn.co进行授权。
本文首发于：https://news.ethereum.cn/Eth2/kintsugi-incident-report
