如何跟踪你作为安全研究员的进步

2025年7月27日

看到顶级的安全研究员在一次比赛中获得第1名或第2名，然后在下一次比赛中跌出前10名，这可能会让人感到困惑，甚至沮丧。

如果你一直在使用排行榜排名来衡量自己的成长，这可能会让你觉得很混乱。但事实是：排行榜是跟踪你作为安全研究员的进步的最差方式之一。

本文的目标是解释_为什么_会这样——并为你提供一个更好的框架，不仅可以跟踪你的成长，还可以随着时间的推移改进你的策略和表现。

在我们深入探讨之前，先快速声明一下： 这篇文章主要是我在一个私人小组中讨论的整理后的文字。因此，如果感觉语气有点随意或混乱，请接受它。我保证这些想法值得你花时间。

那么，更好的替代方案是什么？

嗯，我不声称有答案 - 但我可以向你展示我使用的系统。

让我们开始吧。

介绍

早期，我只使用一个尺度——通用指标。但自从我上次的主要研究以来，我开发了第二个尺度 - Bug Scoping（漏洞范围界定）。它可以帮助我深入进行审计后审查，找出我的策略中需要优化的领域，以及如何进行。

尺度一：通用指标

• 命中率（Hit-rate）： 这是你的有效提交与无效提交的比率。在像 Sherlock 这样的平台上，它可能会被扭曲，这些平台通常会使低危和信息类漏洞无效。如果你刚开始，我建议你专注于 Cantina 和 CodeHawk。命中率反映了你理解代码库的能力。如果你在比赛中发现的20个漏洞中只提交了1-5个问题并不重要——如果这5个中有4个是有效的，那就是一个巨大的胜利。这表明你正在变得有能力真正理解代码库。一旦确定了这一点，你就可以开始担心如何找到更多的漏洞。

• 覆盖率（Coverage）： 你能够找到的总漏洞的百分比是多少？大多数 web3 研究人员过于关注单独漏洞。但正如我上次的研究表明的那样，最终成为单独漏洞的漏洞通常与重复漏洞具有相似的复杂性。事实上，约~30%的单独漏洞是靠运气发生的。你无法针对单独漏洞进行优化——因为大多数时候，你不知道哪个漏洞最终会成为单独漏洞。但是，你可以针对覆盖率进行优化。这是我的策略背后的核心思想。你的平均覆盖率越高，你就越有可能找到单独漏洞。就这么简单。

尺度二：漏洞范围界定（Bug Scoping）

这个有点微妙，我还在开发它，因为它被集成到我的审计后审查中。

它仅在你的平均漏洞数量和覆盖率上升后适用——严重性无关紧要。这里的目标是确定你倾向于更频繁地发现哪些类型的漏洞，以及你持续遗漏哪些类型的漏洞，并使用此信息来改进你的审计策略。

首先，你需要一个对漏洞进行分类的系统——如果它是个性化的你的风格，那就更好了。在我上次的研究中，你会看到我将漏洞分为以下几类：Off-code（代码外）, On-code（代码内）, Offensive（攻击性）, Defensive（防御性）和 Origin（来源）。如果你想遵循相同的系统，可以在 Google Sheet 中找到它们的定义。

最大化你的模型——反馈循环强化与策略优化

在构建模型或利用下面共享的模型之后。

这些模型有助于使审计后审查和其他报告研究更有效——因为你现在有一个标准框架来分析每个发现。任何高亮显示或不符合你的框架的内容都会成为更新你的系统和扩展你的知识的线索。

此外，你不需要记住或引用一个无休止的启发式列表（相信我，作为一个启发式方法的人，这个列表是无止境的）。你需要做的就是围绕检测那些漏洞类别构建一个系统，然后针对这些漏洞可能出现的每个方面优化该系统。如果你发现你的系统始终遗漏某个类别或某个漏洞的特定方面，那么就该改进该系统了。

赠送

你可以像我在这里所做的那样在 Google Sheet 中实施所有这些，并以可衡量的方式跟踪你的成长。

请允许我闲聊

我听到的关于审计后审查的一个常见建议是：“问问自己为什么会错过这个漏洞”，有些人甚至会为此构建一个 PoC（概念验证）。这并不坏——但我认为这不完整。因为这种方法依赖于记忆（精神或肌肉）并希望它下次生效。但对于大多数人来说，这会失败。

为什么？

因为在比赛中，你的大脑要处理太多的事情——疲劳、时间压力、复杂性——而且很容易产生盲点，忘记你所知道的，或者错过明显不反映你的智力的漏洞。

因此，与其只是问问自己为什么会错过一个漏洞并试图训练你的大脑记住，不如将其构建到你的策略中。如果你的策略足够好，你应该能够关闭你 50% 的大脑，并且仍然可以找到有效的漏洞。

此外，我们倾向于迷失在一个思维线索中，并发展出使我们陷入围绕代码的一种特定思维方式的偏见。像这样的模型可以帮助你打破束缚。

好了，今天就到这里。

再次强调，请记住，在上述任何分析中，严重性都无关紧要。这加强了我的观点，即为什么排行榜是跟踪你的成长的糟糕方式。

• 原文链接： krisrenzo.substack.com/p...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～