NVIDIA 的 OSWorld-Pro 为电脑操作 agent 增加过程级评测。它把 300 多个任务拆成 2,800 多个有依赖关系的子目标，并以 67,000 多条人工标注为依据。评测能区分无关动作、点击失误和卡住的子目标，这些问题在单个最终结果分数里会被掩盖。Claude Opus 5 在该 benchmark 上得到 75.7%，OSWorld 上则为 83.4%。
OSWorld-Pro 揭示电脑操作 agent 的中途失误
2026-09-22前沿观察TRIAL
NVIDIA 的 OSWorld-Pro 为电脑操作 agent 增加过程级评测。它把 300 多个任务拆成 2,800 多个有依赖关系的子目标，并以 67,000 多条人工标注为依据。评测能区分无关动作、点击失误和卡住的子目标，这些问题在单个最终结果分数里会被掩盖。Claude Opus 5 在该 benchmark 上得到 75.7%，OSWorld 上则为 83.4%。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
对测试浏览器或桌面 agent 的团队来说，一个最终成败标记不足以告诉你该修哪里。可以试着给长工作流加入 OSWorld-Pro 式子目标评分，把模型错误、harness 错误和界面操作错误拆成不同的回归目标。它的 LLM judge 只能当经过测量的代理，不能当标准答案：论文的任务级一致性很高，但对可行性和进度的判断明显更弱。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 任务 | 300 多个长时程电脑操作任务 |
|---|---|
| 子目标 | 2,800 多个有顺序依赖的子目标 |
| 标注 | 67,000 多条步骤级人工标注 |
| 最佳结果 | Claude Opus 5 在 OSWorld-Pro 为 75.7%，在 OSWorld 为 83.4% |
| Judge 校验 | GPT-5.6-Sol Max 的任务级判断与人工一致率为 94.1%，独立人工评审间为 95.6% |
| 难度 | 每个任务平均涉及 3.45 个不同应用，OSWorld 为 1.34 个 |
技术影响 3
工程价值 4
采用信号 2
成熟度 2
验证成本 3
风险 2