论文报告 OnTrack 以约每步 1 毫秒监控 SWE-bench 轨迹,并减少约 18% 失败计算。
OnTrack 以毫秒级开销预警失败轨迹
2026-10-09前沿观察WATCH
OnTrack 持续比较 agent 当前步骤与成功轨迹的结构,在执行中预警或中止失败任务。作者在 SWE-bench 轨迹上报告约每步 1 毫秒;仅看前八步就比内容相似度方法多 0.057 AUROC,并减少约 18% 的失败计算。
可用状态:仅论文;未发现公开代码
对你意味着什么
对长时程 agent 平台来说,这提供了一条比逐步调用 LLM monitor 更便宜的在线护栏路径。论文没有公开实现,且中止实验只有六次触发;在代码或更大规模复现出现前,只适合跟踪。
前沿观察
公开材料与效果验证,分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 延迟 | 约每步 1 毫秒 |
|---|---|
| 评测 | SWE-bench 轨迹 |
| 报告的提升 | 前八步 +0.057 AUROC |
| 报告的节省 | 约 18% 失败计算;6 次中止中 5 次正确 |
| 可用性 | 仅论文;未发现公开代码 |
技术影响 3
工程价值 4
采用信号 1
成熟度 1
验证成本 4
风险 2