← 事件库 / Research

Argo-Bench 按业务行动结果评测数据 agent

Argo-Bench 发布 210 个企业数据任务,基于含 235 张表、75 亿行数据的合成仓库。它评分的是 agent 最终生成的申报与业务行动,而不是文字说明是否听起来合理。作者对 14 个模型的测试中,最强系统仅在 34.8% 的任务上达到至少 95 分,平均为 59.5 分。

对你意味着什么

对部署数据 agent 的团队来说,这套评测检查系统能否还原业务状态并执行正确的下游行动,而不只是写出看似合理的 SQL 解释。公开 harness 与数据仓库可用于受控比较内部候选模型。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

技术细节与六维评分
任务数 210
数据仓库 235 张表、75 亿行合成数据;公开数据约 71 GiB
评测方式 按申报和业务行动结果评分
作者结果 14 个模型中最强者平均 59.5%;34.8% 任务达到至少 95%
公开材料 Apache-2.0 harness、CC-BY 数据仓库和 20 个参考方案;答案留在服务端
技术影响 3
工程价值 4
采用信号 2
成熟度 3
验证成本 4
风险 2