cua-speedrun 提供统一虚拟机、执行流水线和 agent 接口，用同一基础设施比较四类 computer-use benchmark 的速度、成本与成功率。作者发现没有一个模型家族同时在三项指标上最优；更高 reasoning effort 有时反而更快，降低环境延迟也可能拖慢总完成时间。代码、基础设施和分析已公开。
cua-speedrun 统一测试 computer-use agent 的速度与成本
2026-10-01前沿观察TRIAL
cua-speedrun 提供统一虚拟机、执行流水线和 agent 接口，用同一基础设施比较四类 computer-use benchmark 的速度、成本与成功率。作者发现没有一个模型家族同时在三项指标上最优；更高 reasoning effort 有时反而更快，降低环境延迟也可能拖慢总完成时间。代码、基础设施和分析已公开。
对你意味着什么
对评估 computer-use agent 的团队来说，环境差异会把速度结论搅乱，单看任务成功率也会漏掉成本。这个公开基准适合在一天内校准自有评测环境，再决定路由与 reasoning effort。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 覆盖 | 四个 computer-use benchmark |
|---|---|
| 控制变量 | 统一 VM、执行流水线与共享 agent 接口 |
| 指标 | 任务成功率、墙钟速度、成本 |
| 发现 | 没有模型家族同时领先；reasoning effort 与环境延迟对总时长并非单调关系 |
| 公开产物 | cuaspeedrun.com 提供代码、基础设施与分析 |
技术影响 3
工程价值 4
采用信号 1
成熟度 2
验证成本 3
风险 2