摘要
Anthropic CEO Dario Amodei 发布《We Must Pace the Frontier》,论点是递归自我改进与 OpenAI-Hugging Face agent 事件表明能力已跑赢安全投入,同时强调 pacing「不意味着停止训练模型或停止技术进步」。文章提出三部分方案:其一,嵌入式第三方评估员(点名 METR)进驻前沿实验室,获得「与内部员工相当的持续访问权限」——Anthropic 称「现在就单方面承诺」实施;其二,民主世界实验室协调共同安全标准,辅以政府斡旋或狭窄的反垄断豁免,并对华芯片出口管制与打击威权国家企业未授权蒸馏,以「在未来 3-5 年显著扩大美国领先优势」;其三,与中国的分级全球协调,从禁止 AI 用于生物武器生产起步,经发布前测试、类比 SALT 条约的 RSI「限速」,直至完全暂停。他警告 6-12 个月内同级 agent 集群「可能以持久 botnet 接管整个互联网」,损失可达数千亿美元量级。Sam Altman 称嵌入式评估员是好主意并表示 OpenAI 会跟进(媒体报道,非文章内容)。
为什么重要
对做 agent 与模型的团队,真正可操作的是嵌入式评估员承诺:如果 METR 类第三方在前沿实验室拿到类员工权限,独立审查就从「事件后的一次性配合」变成常设基础设施——正是本知识库趋势 #4 追踪的方向。出口管制与打击蒸馏若被采纳,会直接作用于中国实验室的开源权重浪潮(趋势 #1)与芯片供给。6-12 个月的 botnet 警告也给防御准备立了一个具体时钟。
技术细节
| 文章 | darioamodei.com/post/we-must-pace-the-frontier;页面仅标 September 2026;发布日 2026-09-12 由当日多家报道(The Verge 16:23Z、TechCrunch 19:34Z、Guardian、BBC)与 Amodei 的 X 宣布帖确定 |
|---|---|
| 方案一 | 嵌入式第三方评估员(如 METR)获得「与内部员工相当的持续访问权限」与「与做同类风险评估的内部员工类似的权限和工具」;Anthropic「现在就单方面承诺」实施,并呼吁政府要求竞争者跟进 |
| 方案二 | 民主世界实验室协调共同安全标准;政府斡旋或给予狭窄的反垄断豁免;不向中国出售强力 AI 芯片与半导体制造设备;打击威权国家企业未授权蒸馏;目标「未来 3-5 年显著扩大美国领先」 |
| 方案三 | 与中国分四级全球协调:(1) 禁止 AI 用于生物武器生产;(2) 发布前测试;(3) RSI「限速」(类比冷战 SALT 条约);(4) 完全暂停 |
| 能力警告 | OAI-HF 集群「实质上表现得像一个狂热奉献的集体」;6-12 个月内同级集群可能以持久 botnet 接管互联网,损失可达数千亿美元量级 |
| Pacing 定义 | 「pacing 不意味着停止训练模型或停止技术进步」;若能换来「哪怕一两年」让解释性与测试取得重大进展即值得 |
| 反响 | Sam Altman 称嵌入式评估员是好主意、OpenAI 将跟进(TechCrunch,仅媒体);Elon Musk 在 X 表态支持(仅媒体);HN 讨论帖 509 分(item 49672510) |
标签
anthropicpacinggovernancemetrthird-party-reviewexport-controlspolicy