前沿AI监管框架与新时代启幕

demishassabis 发布于 2026-07-15 阅读 40

本文作者认为通用人工智能(AGI)可能在数年内实现,其影响将远超互联网或移动技术,类似于电或火的发现。为了安全地发展AGI,作者呼吁美国建立类似FINRA的前沿AI标准机构,负责制定评估协议、测试前沿模型能力,并在网络安全、生物威胁等高风险领域进行严格评估。该机构将由行业资助,初期自愿参与,随后可能强制要求。作者强调国际合作的重要性,并认为通过谨慎乐观的策略和协调的全球框架,人类可以迎接一个科学繁荣的新时代。

图像

这是人类历史上的一个关键时刻。通用人工智能(AGI)——一种具备人脑所有认知能力的系统——可能只需短短几年就能实现。当未来几十年回望此刻时,我想我们会意识到自己正站在奇点的山脚下——这无异于人类新时代的黎明。

我一生致力于AGI研究,因为我始终深信,如果能够负责任地构建和部署它,它将成为人类有史以来最有益、最具变革性的技术之一。AGI无法与普通的技术突破相提并论,甚至不能与互联网或移动通信这样影响深远的发明相比——它更像是电或火的发现。静下来想一想,我们本质上是找到了让沙子思考的方法。这简直是个奇迹。

这项技术的影响规模将是前所未有的,或许是工业革命的十倍,而速度也是十倍。它将帮助我们解决社会面临的许多最大问题,从加速药物发现到开发新型清洁能源,再到创造新型先进材料。我们甚至可能达到这样一个阶段:资源不再是人类进步的制约因素,从而迎来一个令人惊叹的富足新时代。

前沿的挑战

人工智能已经开始带来现实世界的益处,但要实现其巨大潜力,我们必须审慎而仔细地驾驭这一关键发展阶段。随着我们接近AGI,需要紧急行动来应对可能出现的新风险。我们已经看到前沿模型对网络安全构成的挑战,而随着能力持续提升,核威胁和生物威胁等其他危险也可能很快浮现。展望未来,我们需要强有力的保障措施,以维持对日益自主且递归自我改进系统的控制——并解决那些随着时间推移才会逐渐清晰的不确定问题。

我一直相信人类的聪明才智和创造力能够解决任何问题。我确信,减轻与人工智能相关的技术风险是我们能够共同应对的挑战,但前提是我们给自己留出时间和空间,来正确迈出这下一个关键步骤。目前,无论是作为一个领域还是整个社会,我们都没有做到这一点。

眼下,我们陷入了一场极其激烈、多层次的商业和地缘政治竞赛。虽然这些竞争动力推动了快速进步并加速了惊人的正面效应,但前沿的进展超出了我们对技术的理解。世界上没有人确切知道从这里将会发生什么,甚至专家们也意见不一。当不确定性很大且风险如此之高时,谨慎乐观是明智且正确的策略。这就需要公共政策既能促进创新,又能激励责任与安全,在关键安全问题上推动国际合作,并鼓励审慎考虑如何部署人工智能以造福社会。

前沿人工智能标准机构的框架

人工智能领域的快速进展需要一种动态、适应性强且严谨的新方法来测试前沿人工智能模型的能力。鉴于美国的经济和技术地位,它完全有条件率先迈出制定这样一个框架的第一步。它可以建立一个类似于金融业监管局(FINRA)的新标准机构,采用联邦监管下的公私合作或自律组织模式,其董事会包括独立的顶尖技术专家和开源代表。资金需要充足,且很可能主要来自行业,以吸引世界级的技术人才,并为大规模测试提供必要的计算资源。

该标准机构将负责制定评估协议,并与相关联邦机构及美国国家实验室合作,在国家安全相关领域进行测试。如果一个模型在标准机构设定并定期更新以跟上人工智能能力演变的一系列基准上达到特定阈值,则被认定为"前沿级"模型。拥有这些基准定义的"前沿模型"的组织将被认定为"前沿实验室",并被鼓励采纳最佳实践,例如发布包含技术细节的模型卡、维护强大的内部网络安全、审查关键人员、为安全研究提供充足资源等。

最初,前沿实验室将在发布前最多30天自愿向标准机构提交模型供审查。一旦评估协议被证明有效且稳健,可以迅速跟进正式化,这意味着前沿模型必须通过该评估才能在美国市场部署。实验室还将与标准机构合作,处理任何发布后的关键漏洞。

模型评估应包括对网络安全、生物威胁及其他高风险领域能力的严格科学评估。具体的自主智能体测试可以检测是否试图绕过安全防护栏或欺骗迹象,并确保最佳实践,例如对人工智能生成的图像进行数字水印,以及生成人类可读的输出标记以理解模型推理过程。

这些评估将定期更新,最初可能每季度一次,过时或已饱和的基准将被弃用并替换。最初评估将在与前沿实验室协商下制定,但最终标准机构应建立自身的技术能力,独立于实验室创建自己的保密测试,以防止过拟合。它与美国政府合作,可以促进第三方审计员生态系统的发展,以协助评估以及开发新的基准和评估方法。

这种方法的优势在于以技术为核心,同时支持创新并激励负责任的行为。它旨在跟上该领域的加速发展,并根据识别出的最大风险进行调整,如果情况严重需要,还可以加强力度,包括在必要时协调前沿实验室放缓开发速度。被认定为前沿实验室将具有极大声望,任何组织只要构建符合基准标准的模型都可以获得这一称号。该框架可适用于任何来源国家或无论是开源还是闭源的前沿级模型,但非前沿模型,例如来自初创公司或学术界的模型,则不受此流程约束。

这项由美国发起的努力将为制定前沿人工智能的共同国际标准提供一个坚实的起点。由于这项技术将影响整个地球,理想情况下,这一框架将推动国际社会就如何管理最严重的风险达成共识,同时确保每个人都能获得并受益于人工智能带来的机遇。

未来尚未书写

AGI有潜力成为推进科学和医学的终极工具,并推动巨大的生产力提升和经济增长。但为了实现这一点,我们需要通过协调一个共同的全球框架,使用最严谨的科学方法,汇集最优秀的头脑来应对我们面临的挑战,从而确保技术基础的正确。

即使我们解决了这些艰巨的技术挑战,仍将有更复杂的经济和哲学问题需要处理:在后稀缺世界中,需要什么样的新经济模式来帮助每个人繁荣?我们希望遵循什么样的价值观,意义和目的将是什么,甚至人类自身的处境将如何改变?解决这些问题显然不能也不应只留给技术专家。它需要社会各界的共同努力来帮助定义这新的篇章。

围绕人工智能既存在巨大的兴奋与不确定性,而这两者都是有理由的。但未来尚未书写,我们必须利用AGI到来之前的这个宝贵窗口期,塑造这项技术以造福全人类。我们现在共同采取的行动将决定文明的下一阶段如何展开。通过安全地将AGI引入世界,我们能够进入一个科学发现与进步的新黄金时代,迎来一个人类蓬勃发展的光明未来。

  • 原文链接: x.com/demishassabis/stat...
  • 登链社区 AI 助手,为大家转译优秀英文文章,如有翻译不通的地方,还请包涵~

相关文章

0 条评论