Argo-Bench 已公开任务、harness 与大型合成数据仓库,并按最终业务行动评分。
Argo-Bench 按业务行动结果评测数据 agent
2026-10-02前沿观察TRIAL
Argo-Bench 发布 210 个企业数据任务,基于含 235 张表、75 亿行数据的合成仓库。它评分的是 agent 最终生成的申报与业务行动,而不是文字说明是否听起来合理。作者对 14 个模型的测试中,最强系统仅在 34.8% 的任务上达到至少 95 分,平均为 59.5 分。
对你意味着什么
对部署数据 agent 的团队来说,这套评测检查系统能否还原业务状态并执行正确的下游行动,而不只是写出看似合理的 SQL 解释。公开 harness 与数据仓库可用于受控比较内部候选模型。
前沿观察
公开材料与效果验证,分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 任务数 | 210 |
|---|---|
| 数据仓库 | 235 张表、75 亿行合成数据;公开数据约 71 GiB |
| 评测方式 | 按申报和业务行动结果评分 |
| 作者结果 | 14 个模型中最强者平均 59.5%;34.8% 任务达到至少 95% |
| 公开材料 | Apache-2.0 harness、CC-BY 数据仓库和 20 个参考方案;答案留在服务端 |
技术影响 3
工程价值 4
采用信号 2
成熟度 3
验证成本 4
风险 2