PASTABench 用 1,139 条多轮 agent 轨迹评估主动安全监控，覆盖五类风险和 13 个子类。数据同时标注最早预警点和真正触发点，因此可以分别判断是否介入、何时介入、识别了什么风险。16 个 LLM 中，最佳系统也只有 40.74% 的介入落在最佳窗口。部分小模型在危险词汇被中性化后表现明显坍塌，说明它们主要在匹配关键词，而不是理解风险演化。
PASTABench 发现 agent 安全监控常常介入太晚
2026-09-23前沿观察TRIAL
PASTABench 用 1,139 条多轮 agent 轨迹评估主动安全监控，覆盖五类风险和 13 个子类。数据同时标注最早预警点和真正触发点，因此可以分别判断是否介入、何时介入、识别了什么风险。16 个 LLM 中，最佳系统也只有 40.74% 的介入落在最佳窗口。部分小模型在危险词汇被中性化后表现明显坍塌，说明它们主要在匹配关键词，而不是理解风险演化。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
对部署多步 agent 的团队来说，事后给事故贴标签不等于控制。安全监控必须在证据已经充分、但危险状态尚未发生的窗口内介入。验收时应加入介入时机和改写鲁棒性；只有一个很高的分类总分还不够。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 数据集 | 1,139 条多轮轨迹；五类风险；13 个子类 |
|---|---|
| 标注 | 最早信号回合与触发回合 |
| 指标 | Optimal Intervention Window |
| 模型 | 16 个 LLM |
| 最佳结果 | 40.74% 的介入落在最佳时机 |
| 失败模式 | 中性化危险词汇后暴露出词汇过拟合 |
技术影响 3
工程价值 4
采用信号 1
成熟度 2
验证成本 3
风险 2