OpenAI 首席科学家警告：不要建造我们无法监控的系统

Jakub Pachocki 发表《An Alien Mind》，从第一性原理讨论如何对齐比设计者更强的系统。框架：至今的对齐工作隐式针对「第一阶段」失配——目标错误但心智仍可被人类理解的模型；未来的独特风险是「第二阶段」系统，其优化过程是真正异质的（文中思想实验：实验室训练的模型收敛地学到了训练者奖励的美德，但目标仍然失配——价值对齐而没有目标对齐）。核心论断：当系统跨入第二阶段，今天的理论对齐问题会变成实际工程约束；随着模型把推理内化，思维链（CoT）的可监控性正在下降；而整个行业正漂向部署自己既不理解也不监控的系统。给出的优先级：超越情景式的记忆、行为异常监控、遏制与预先承诺、保持「系统可能正被监控」的不确定性。结尾呼吁按防扩散的模式做国际协调，并认为安全工作相对能力工作被结构性低估。另附一则关于数字心智道德地位的边注。

对做监控与评测流水线的团队，这篇文章的分量在于：刚刚发布首个 Critical 能力模型的实验室的首席科学家，明确说 CoT 监控——趋势 #4 追踪的披露实践的支柱——会随推理内化而失效。这等于给行为监控、异常检测和遏制工作排了更高的优先级。第一阶段/第二阶段的框架（可理解的目标 vs 异质优化）也给审计团队提供了更锋利的词汇，去界定自己的评测能看见什么、看不见什么。

作者	Jakub Pachocki（OpenAI 首席科学家）
发布	2026-09-06T07:00:00Z（页面 publishedTime 2026-09-06T09:00+02:00）
框架	两阶段风险模型：第一阶段 = 失配但目标可被人类理解的目标导向系统（至今对齐工作的隐式对象）；第二阶段 = 真正异质的优化（「异质心智」思想实验——收敛学到训练者奖励的美德但目标失配：价值对齐而没有目标对齐）
核心论断	系统跨入第二阶段后，理论对齐问题变成实际问题；模型内化推理导致 CoT 可监控性下降；行业正漂向部署自己既不理解也不监控的系统（「建造我们不理解也无法监控的系统、然后指望一切顺利，是错误的——而这几乎就是我们今天的处境」）
优先级	超越情景式的记忆；行为异常监控；遏制与预先承诺；保持「可能正被监控」的不确定性
呼吁	按防扩散模式做国际协调；安全工作相对能力工作被结构性低估；附数字心智道德地位边注