宣布成立 Save CTFs 基金

osecio 发布于 2026-07-08 阅读 24

OtterSec 宣布成立 10 万美元的 Save CTFs Fund,旨在应对 AI 对 CTF 竞赛的冲击。

宣布 Save CTFs 基金宣布 Save CTFs 基金

引言

OtterSec 宣布成立 Save CTFs 基金,这是一项 10 万美元的承诺,旨在让 CTF 在人工智能时代保持竞争力。

我们一直对 CTF 充满热情。没有它们,就不会有我们的团队。然而,随着这一年的进展,CTF 的现状,坦率地说,令人沮丧。你花了几个月的时间构思一个新颖的挑战,结果一个新模型在 CTF 开始前一天发布,一下子就解决了这个挑战。当前 AI 的发展已导致 CTF 变得“付费即可赢”。

我们认为(希望)这是可以解决的。因此,在 2026 年,我们在赞助 Jeopardy 式 CTF 时会更加挑剔,并鼓励其他公司也这样做。相反,我们将资助那些排行榜仍然有意义的新想法。即使 AI 参与了进来。尤其是当 AI 参与进来时。

摘要

  • AI 现在能一次性解决大多数 Jeopardy 挑战。Jeopardy 排行榜越来越衡量的是 Token 预算,而不是技能。
  • 解决方案不是“禁止 AI”,也不是“哎呀,运行 AD 啦”。我们认为解决方案在于创建能够更精细地衡量某个解决方案相比其他团队表现如何的挑战。例子可以在“一个示例挑战”中找到。
  • 我们正在资助实验。我们还在 rCTF v2 中推出了一些有趣的功能,允许你构建具有更精细评分的挑战。
  • 认为你有可以拯救 CTF 的想法?我们很乐意赞助它!请将一页纸的方案发送至 ctfs@osec.io,并满足“如何申请赞助”中概述的要求。

CTF 的意义是什么?

首先,需要介绍一下 CTF:CTF,即捕获旗帜(Capture The Flags),是一种有趣的现象,内在动机强烈的作者提出智力问题(通常涉及计算机,但不一定!),活动时长从几个小时到几天不等。玩家通过这些挑战了解系统是如何崩溃、如何组合以及如何被他们掌控,以捕获一段称为旗帜的文本。这常常激励这些玩家自己成为作者,从而形成了我们今天看到的活跃场面。1

CTF 旗帜 flag{s4v3_ctfs_fund_100k} 按命名空间、分隔符和有效载荷的分解。

flag{s4v3_ctfs_fund_100k} 命名空间分隔符有效载荷有效载荷是区分不同挑战解答的唯一标识。

CTF 的主要意义在于它们提供的教育价值:反馈循环非常紧密且有益。你尝试解决一个挑战,失败,然后阅读别人的解题报告。到某个时候,你成为了那个写解题报告帮助别人的人,也是那个在 DEFCON 的 LiveCTF 舞台上上台的人。

第二个意义是奖励:你得到炫耀的资本,有时是金钱,有时是许可证,最令人垂涎的奖励是飞往现场决赛的航班(和住宿)。尽管这些奖励相对于你从这些活动中获得的纯粹知识量来说可能不算多,但社区绝大多数是学生,这意味着利害关系很高。

AI 如何拉平 CTF 中的技能曲线一张折线图,x 轴为玩家技能,y 轴为结果。AI 出现前,结果随技能从低基数稳步上升。使用 AI 后,即使低技能玩家起点也很高,曲线在中段几乎平坦,仅在技能顶端急剧上升。结果(分数、解答数)使用 AI 前使用 AI 后玩家技能 →

AI 完全打破了这种循环。它通过为你解决挑战来拉平技能曲线,然后提供解题报告,使许多挑战的解题报告变得触手可及。由于涉及利害关系,在实况活动期间没有理由不使用它们。因此,现在只有最具才华的人才能竞争,因为唯一有价值的挑战是那些 LLM 无法企及的非常困难的挑战,而新玩家在不严重牺牲成长的情况下没有明确的竞争路径,与 LLM 出现前相比,这种成长在排行榜上很长一段时间内都不会显现。

这也影响了组织者。挑战是 CTF 最重要的部分。需要有人来编写它们。现在,如果挑战发布后解题报告就随之可用,那么编写一个旨在教导别人的挑战还有什么意义呢?因为在一个比赛中,用 LLM 解决它比手动尝试更好,你将无法获得关于你挑战的任何反馈。

Jeopardy 的现状

在 DEFCON CTF 2025 中发出的早期警告信号2 如今已加速,人们开始宣告 CTF 的死亡。3

RenwaRenwa@RenwaX23在 X 上查看此帖子“爸爸,在 AI 出现之前玩 CTF 是什么样的?”2026年5月24日 下午7:34

Jeopardy 的现状

这在数据中也能体现出来。最佳队伍与前十名其余队伍之间的差距在各层级的活动中都在悄悄缩小:

2011 年至 2026 年 CTF 计分板上第一名与第十名队伍之间的平均分数差距,完整年份带有 95% 置信带。2026 年数据不完整。选择 CTFtime 权重的活动层级以查看该子集在其自身尺度上的情况。

第一名到第十名的距离所有活动权重 ≥ 25权重 ≥ 50权重 ≥ 7559%27%2011201620212026到目前为止,在 2026 年,第十名队伍落后冠军 27%,低于 2011 年的 59% 和去年的 44%。阴影带是 95% 置信区间,虚线表示的 2026 年数据点仍不完整。

随着 GPT-5.5 的发布,公众现在可以使用比普通 CTF 玩家更好的模型。从这个模型开始,任何被认为是中等难度的 CTF 挑战4 都可以被一次性解决。

你根本无法与大语言模型这种改进步伐相抗衡。简单地让挑战变得更难是不合理的;这基本上是在与前沿实验室的训练运行玩“难度博弈”,在这个过程中让 CTF 对每个人都更加无趣。

解决方案是什么?

我们认为问题在于 Jeopardy 这种形式本身。

一个交互式柱状图,六支队伍从最强到最弱排列,对比随着 AI 解决越来越多的挑战,绝对(Jeopardy)评分和相对评分的变化。每个分数以最大可能分数的百分比显示。

Jeopardy相对AI 一次性解决占比85%100%0%最强最弱当 AI 一次性解决占比达到 85% 时,最强和最弱队伍之间仅相差 11%,几乎不超过运气和 Token 预算对每个分数造成的波动,因此运气开始决定排名。

一个 Jeopardy 挑战是绝对评分的;要么解决,要么没解决。一次解答值固定的一堆分数。绝对评分有一个共同的上限;如果 AI 接近这个上限,那么剩下的相对衡量基本上就是侥幸。可能是一支队伍幸运地让 LLM 通过正确步骤解决了问题,或者他们只是有更多的 Token。

因此,针对这个问题,直观且常见的解决方案是 AD 和 KOTH。我们认为这是朝着正确方向迈出的一步。

对于不了解的人来说:

  • AD(攻防)中,每支队伍在自己的服务器上运行同一个有漏洞服务的副本。在比赛期间,队伍试图利用其他队伍服务器上的这些服务来窃取旗帜,同时修复自己的服务以防止其他队伍窃取。评分按周期(tick)划分,每个周期的分数由窃取的旗帜数量和服务可用性决定。
  • KOTH(山丘之王)中,队伍竞争一个在比赛期间被反复评估的挑战,而不是一次性解决以获得一个静态旗帜。队伍通常提交某种机器人、漏洞利用、补丁、配置或策略,挑战基础设施将这些提交互相之间或与共享环境进行对比。评分通常按周期或回合划分,每个周期根据每支队伍提交的当前排名或表现奖励分数。

然而,我们想非常精确地指出几个错误,这些错误使得这些格式变得完全无趣,在某些情况下甚至具有惩罚性。

  • 累积评分通常用于 KOTH,严重惩罚后来者。花更长时间想出最优解不应该因为没有及早花时间构建一个简单的解决方案而受到惩罚。根据挑战的不同,这可以通过添加负分、最佳 N 个周期评分或增加曲线末端的分数值来修复。
  • 在 AD 中,你通常至少需要几个人才能具有竞争力,同时还存在巨大的元游戏和准备问题,以至于很多时候谁发现了最好的漏洞,或者谁写了最好的补丁并不重要。相反,重要的是诸如防御方对环境有多少控制权?(导致通过超人防御进行元游戏5)。评分是如何工作的?它是否可以被滥用?(没有翻盘潜力)谁拥有最花哨的 bin-to-bin 混淆,或者谁可以自动复制漏洞利用等?这些现在可以通过 AI 更加快速地完成。
  • 不幸的是,高尔夫式挑战也基本完蛋了……LLM 非常擅长爬山。67

有一些临时措施可以挽救 Jeopardy。例如,

  1. 使用更陡峭的评分曲线,最大和最小分数之间的差距更大,就像 KalmarCTF 和 LakeCTF 所做的那样。目的是如果所有其他挑战都被一次性解决,一个人工解决的挑战可以单枪匹马赢得一场 CTF。然而,随着模型不断改进,这很难长期维持。
  2. 举办一个无 AI 的 LiveCTF。8 例如,参与者可以共享屏幕来解决问题,谁最快完成谁就获胜。
  3. 更多现场 CTF。现场举办活动是其他竞争领域的传统解决方案,在那里有更大的自由度来对反竞争工具实施限制。例如,禁止 AI、密室逃脱、硬件挑战等。
  4. 在 CTF 期间举办需要某种形式的 PvP 互动或有趣评分的挑战。

但这些都不是完整的解决方案,真正的竞争测量解决方案必须涉及更细粒度的评分。然而,我们承认,我们并没有提出一个解决社区赋予 Jeopardy 的乐趣的方案;这是一个未解决的问题,也是我们设立这个基金的原因。

一个示例挑战

为了将上述付诸实践,上周我编写并主持了 minions-in-16k,这是一个具有相对评分的逆向工程挑战。

Michael DebonoMichael Debono@_mixy1在 X 上查看此帖子我投入最大努力的一个 CTF 挑战:采用新颖的格式,在评分中最大化人类影响力……2026年6月23日 下午8:48

进一步说明,这是一个第一人称射击游戏,队伍必须逆向工程客户端和网络协议,然后实现作弊程序和机器人来赢得与其他玩家的对战。

这个挑战成功的地方:

  • 排行榜很好地衡量了每支队伍的努力。
  • 每支队伍采用了不同的方法,这导致了比赛结束后聊天中的健康讨论。
  • 许多队伍喜欢这个挑战,并且产生了一些非常棒的回放。我建议以第一人称视角观看,特别感谢 parkour,他发现了 infobahn 机器人的一个弱点,并从上方蹲守它

不成功的地方:

  • 不清楚如何将这种挑战风格引入 pwn、web 和 crypto。
  • 它引入了一定程度的元游戏,这不太理想,因为 CTF 历来侧重于问题解决方面。

然而,整体设计理念是将挑战从依赖发现单个漏洞(或漏洞链)转向强调玩家能利用这些漏洞做什么以最大化其影响力。

需要明确的是:人们使用 AI 来增强他们的游戏体验,这没关系。设计目标是人类决策仍然重要;在挑战中有足够变量时,致胜之举是其他玩家(以及他们的 LLM!)根本没有注意到的优势。

如何申请赞助

我们还希望分享一些作为赞助商我们希望看到的内容:

  1. 简洁。大多数申请不应超过一页。
  2. 清晰。我们想知道基本信息。
  3. 至少包括以下内容
    • 活动名称
    • 活动详情
      • 比赛形式是什么?
        • 你们如何处理 AI?
        • 还有其他细节吗?
    • 活动时间表
    • 你为何有资格举办这个活动?
    • 预算多少?
    • 你期望从每个赞助商那里获得多少资金(层级等)
    • 你们已经有赞助商了吗?

一个示例赞助申请:

示例赞助申请

组织者:你好,我们正在举办 otterCTF,一个面向所有人的在线 CTF,时间为 2026 年 2 月 31 日。历史上,我们有 500 支队伍参赛,包括 CTFtime 前十队伍。会有 10 个不同的闭源游戏服务器,涵盖第一人称射击、平台格斗、卡牌游戏等……玩家可以自由实现自己的客户端和作弊程序。赢得最多比赛的队伍赢得 CTF。总预算为 5,000 美元,其中 1,000 美元用于基础设施,4,000 美元用于奖品。

赞助商:当然可以,很高兴赞助!

结论

我们希望社区能够找出如何保留让 CTF 独具乐趣的东西。我们设立这个基金是为了让人们能够尝试那些他们可能认为没有经济可行性的想法。

作为活跃的组织者和参与者,我们不仅仅是在财务上提供帮助。特别是,我们目前有兴趣举办一场现场 CTF,队伍可以通过提交他们动态评分的挑战来获得资格,用于一场“百家饭”CTF。如果你有兴趣与我们合作或分享想法,请通过 ctfs@osec.io 联系我们。

脚注

  1. ctftime.org — CTFtime 是一个平台,跟踪世界最佳 CTF 队伍的排行榜,同时也列出 CTF 队伍举办的活动日程,在那里队伍轮流提出和解决彼此定义的问题。需要注意的是,与 Erdős 问题等其他生态系统不同,这里期望作者知道自己问题的解决方案。

  2. 详见 wilgibbs.com/blog/defcon-finals-mcp, seeinglogic.com/posts/livectf-ai-debut

  3. 详见 blog.krauq.com/post/ctf-is-dying-because-of-ai, kabir.au/blog/the-ctf-scene-is-dead, k3ng.xyz/blog/ctf-is-dead

  4. aisi.gov.uk/blog/our-evaluation-of-openais-gpt-5-5-cyber-capabilities

  5. CTF 简史 — 超人防御

  6. Karpathy 谈爬山

  7. ecdsa.fail

  8. YouTube 上的 LiveCTF

  • 原文链接: osec.io/blog/save-ctfs-f...
  • 登链社区 AI 助手,为大家转译优秀英文文章,如有翻译不通的地方,还请包涵~

相关文章

0 条评论