选择审计竞赛：如何识别“灵丹妙药”

去年夏天，我们收购了 Code4rena↗，领先的审计竞赛平台。在这篇博文中，我们将回顾该领域常用的几种具有误导性的销售策略。我们将为你提供购买竞赛时需要提出的重要问题——包括那些商务拓展团队不希望你考虑的问题。

什么是审计竞赛？

审计竞赛是传统的、咨询式审计和漏洞赏金计划的混合体。它们结合了审计的有时限和固定成本的性质，以及众包的、“尽可能多的眼睛”的赏金优势。在审计竞赛期间，有一个固定的窗口期，任何人都可以向协议提交漏洞。最后，固定的奖金池将在所有提交有效发现的人之间分配。

与传统的审计可能只有 2 或 3 名审计员审查你的代码库不同，竞赛吸引了数百名安全研究员，每个人都有自己的专业知识和视角。这种广泛的方法通常会导致发现复杂的、晦涩的漏洞，而这些漏洞可能在传统的审计环境中被忽略。

然而，并非所有的审计竞赛都是一样的。重要的是要超越销售的说辞，提出正确的问题。现在，让我们来了解一下销售审计竞赛时常用的一些具有误导性的说法。

具有误导性的提交指标

一种常见的具有误导性的策略是在没有适当背景的情况下展示原始的提交指标。一些平台会展示图表，显示数百个“高危漏洞”。然而，这些数字通常包括同一问题的重复提交。

通常，多个审计员会报告给定的问题。一个平台可能会在其演示稿中将此计为 20 个不同的“高危漏洞”，而实际上这只是一个漏洞。此外，一些平台还在其指标中包括无效或有争议的问题，从而进一步夸大数字。这两种情况都会给人一种彻底性和有效性的虚假印象。

以下是我们见过的销售演示稿中的一个真实例子。我们认为高危和中危漏洞的数量没有去重，“总提交数”包括无效的发现。这是因为在一个 60,000 美元的奖金池竞赛中，出现 248 个独特的高危问题似乎是不可能的。作为参考，这个奖金池大小通常对应于大约 ~3,000 SLoC——这意味着每 12 行代码就有一个高危漏洞！

需要问的问题：

• 这些指标是否包括无效和垃圾信息？
• 这些指标计算的是独特的发现，还是没有去重？
• 这些问题中有多少被赞助商质疑？
• 你分配高危级别的标准是什么？
• 我可以查看这些竞赛或类似规模竞赛的审计报告吗？
• 这些竞赛的持续时间是多少？

具有误导性的参与指标

另一种策略是夸大的“参与”人数。你可能会看到比较不同平台上审计员参与情况的图表，但这些比较通常存在缺陷，因为对“参与者”的定义不同。

有些平台将点击“我加入”按钮的任何人都计为参与者，无论他们是否实际审查了你的代码或提交了发现。另一些平台可能会计算至少提交了一个发现的用户，无论是否有效。还有一些平台可能只计算那些提交了至少一个有效发现的用户。因此，一个平台可能会在其竞赛中显示 200 多个“参与者”，而实际上只有 30-40 人实际提交了有效的发现。

在下面的例子中，一个平台声称他们的 120 万美元的竞赛吸引了 573 名“参与者”，而一个 110 万美元的竞赛只吸引了 72 名。但是，如果你查看竞赛排行榜，这 573 名“参与者”中只有 58 人实际提交了有效的发现。

这是另一个例子。这条推文声称比赛有 601 名参与者，但它没有定义“参与者”的含义。如果你查看比赛排行榜，只有大约 50 名研究人员的得分超过 1 分。

需要问的问题：

• 你对“参与者”的定义是什么？
• 这个指标是如何测量或获得的？
• 你如何知道这些“参与者”实际审计了代码？
• 这些“参与者”中有多少人实际提交了有效的发现？
• 他们中有多少人提交了高危或中危漏洞？

关于独家性的声明

一些平台将独家访问顶级安全研究人员作为关键的卖点进行推广。然而，在实践中，这些独家协议通常归结为向研究人员提供激励——例如，有保证的预订或直接费用——以避免与其他平台竞争。

这并不能保证他们参与你的特定竞赛，也不能确保这些研究人员投入有意义的时间或精力。他们可能会将精力分散在多个审计和竞赛中，或者选择根本不参与。在许多情况下，他们的时间主要分配给私人审计，而不是竞赛。

因此，团队最终可能会为参与的可能性支付溢价，而没有任何实际或彻底参与的保证。以下是我们在实际中看到的一些例子：

需要问的问题：

• 这些“独家”研究人员中，有哪些人在合同上必须参与我的竞赛？
• 他们每周将在我的竞赛中工作多少小时？
• 谁将管理他们？
• 如何监控他们的表现，以确保他们真的在努力工作于我的竞赛？
• 在整个时间内，他们是否会被专门分配到我的竞赛？如果不是，为什么不，他们还会被分配到什么其他任务？

关于咨询审计员的声明

一些平台试图通过在其推广竞赛的材料中展示其咨询审计员来模糊不同服务产品之间的界限。这会产生混淆，暗示这些审计员将直接参与你的竞赛，而他们可能不会。

例如，你可能会在审计竞赛的宣传资料中看到为母公司或姐妹公司工作的高级安全研究人员的令人印象深刻的简历和资历。但是，这些审计员通常可能从事该平台的传统审计，而不是他们的竞赛。

现实情况是，在审计竞赛中，你支付的是访问独立安全研究人员库的费用，而不是平台咨询审计员的专门关注。

需要问的问题：

• 在整个时间内，他们是否会被专门分配到我的竞赛？
• 他们每周将在我的竞赛中工作多少小时？
• 谁将管理他们和监督他们的工作？这里的流程是什么？
• 如何监控他们的表现，以确保他们真的在努力工作于我的竞赛？

关于社交媒体参与度的声明

一些平台强调他们的社交媒体参与度作为卖点，展示点赞、转发和评论。虽然这可能看起来很有价值，但重要的是要了解这些指标实际代表什么。

社交媒体参与度是最容易操纵的指标之一。每个人都知道 CT 上的机器人有多么严重和普遍。即使是真实的参与度也并不总是转化为有意义的采用；空投 farming 是这种“参与度”陷阱的经典例子。相反，重要的是有多少合格的研究人员实际参与了你的竞赛并提交了有效的发现。

虽然曝光可能是有益的，但请记住，审计的主要目标是发现和修复你代码中的漏洞。最有价值的参与来自那些深入了解你的协议，并后来成为开发人员或高级用户的研究人员，而不是 CT 上的普通关注者。

匿名推荐

谨防包含匿名推荐的销售材料。诸如“领先的 web3 协议”或“主要的借贷平台”之类的短语表明引用的内容可能是经过精心挑选的。

在不知道谁提供了推荐的情况下，你无法验证其准确性或相关性。你也无法确定它代表的是一种常见的体验，还是为营销目的而放大的孤立事件。平台应该愿意将你与真实的、具名的客户联系起来，这些客户可以直接分享他们的经验，以便你可以提出后续问题并进行适当的参考检查。

这是一个平台抨击另一个平台的真实例子。（这两个平台都不是我们的。）

这个推荐也有另一个问题：AI 垃圾邮件是所有平台都面临的挑战。将此作为竞争对手独有的问题是不真诚的。

记住要问：

• 被引用的人的姓名和公司是什么？
• 你可以将我介绍给他们以进行参考调查吗？他们的联系方式是什么？

个人审计之间的比较

最后，另一种具有误导性的策略是直接比较两次个人审计。这些比较几乎总是有缺陷的，并且遗漏了重要的上下文。

由于涉及的变量很多，因此没有两次审计可以直接比较。不同的代码库具有不同的复杂性级别、漏洞和成熟度。即使是对同一代码的多次审计也可能反映代码库的不同状态——第一次审计更有可能发现许多错误，而随后的审计将发现的错误更少，因为代码库已经被清理干净。总的来说，范围、持续时间和重点领域在不同参与方之间可能会有很大的差异。

谨防公司之间严重程度评级标准和标准的差异。例如，一些平台没有“严重”的发现；相反，它们有“高”和“中”。我们看到一些公司声称其他公司的审计没有产生任何“严重”问题——但事实是它们从一开始就不在评级范围内。或者，在一个平台上可能是“中等”的，在其他平台上可能是“高”。

需要问的问题：

• 比较中你这边的是竞赛，还是实际上是咨询审计？
• 我可以在哪里检查每次审计的审计报告？
• 这两次审计是何时进行的？
• 其中一次审计是否是在之前的审计之后已经进行了修复之后进行的？
• 这两次审计是否具有相同的范围和相同的提交哈希值？
• 是否指示两名审计员专注于相同范围的区域？
• 每次审计的范围中有多少行代码？
• 每次审计的持续时间和分配的工程师周是多少？
• 你分配问题的高危级别的标准是什么？
• 其中一份报告是否将多个问题分组到一个发现中？
• 客户在每次审计后修复了什么？
• 我可以获得审计客户的联系方式，以便我可以进行参考调查吗？

选择审计竞赛时的一般提示

在选择审计竞赛平台时，请关注透明度、清晰的沟通和有意义的指标。合适的平台应该坦诚地介绍他们的流程，愿意将你与过去的客户联系起来，并且能够清楚地解释他们如何确保质量和管理他们的研究人员社区。

始终询问参与的经济效益，而不仅仅是奖金池：

• 你收取的市场费用是多少（以美元计）？
• 这将是一个有条件的奖金池吗？如果没有发现高危或中危漏洞，我的奖金池中有多少（以美元计）将被退还？
• 在我的竞赛的同时，还会举办哪些其他竞赛？
• （如果演示了幻灯片）你可以将此演示文稿的副本发送给我吗？

我们经常遇到的其他问题：

• 有条件的奖金池是否会对参与人数产生负面影响？ 总的来说，是的，这就是为什么我们过去反对这些。对客户的好处是，如果没有发现高危或中危错误，大部分或全部奖金池将被退还。缺点是，这使得参与比赛对研究人员的吸引力大大降低，这可能会损害最终报告的错误数量。话虽如此，有条件的奖金池越来越成为所有主要竞争性审计提供商的行业标准，并且大多数平台将根据你的要求支持有条件的奖金池或不支持。

• 在比较不同的提供商时，最重要的指标是什么？ 最重要的指标是报告的高危/中危发现的数量和提交有效发现的研究人员的数量。这些是决定你的审计总体价值的关键指标。它们直接衡量你的协议对安全的直接影响和保证级别（代码上的眼睛数量）。

我是一名研究员。这对我有什么影响？

任何比赛平台采取的具有误导性的销售策略，从长远来看都会损害平台与赞助商之间的关系。被误导并获得的少于承诺的赞助商通常会对比赛感到失望。这会损害整个安全研究人员社区 - 不仅仅是在不一致的平台上，而是所有竞争性审计平台。随着时间的推移，这导致更少的资金被用于社区安全研究，例如竞争性审计和漏洞赏金。最终决定权在于你，但我们建议你在选择参与竞争的平台时将此作为一个因素考虑。

结论

为审计竞赛选择合适的合作伙伴归结为提出正确的问题。关注有多少高质量的安全研究人员会实际审查你的代码，以及他们会提交多少有效的、独特的漏洞。持怀疑态度，并要求透明地了解你所支付的费用。合适的平台会很乐意回答问题。

• 原文链接： zellic.io/blog/audit-com...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～