研究者用逐题判定结果审计 254 个 SWE-bench 提交，覆盖四个 split。在 Verified 上，前 30 名的 29 组相邻结果没有一组能被精确配对检验区分。前十名共同解出 285 题、共同失败 51 题，只剩 164 题提供区分信息。固定模型后，不同 scaffold 的观测差距最高达 29.8 分，大于前 30 名整体 8.8 分的跨度。
SWE-bench 审计发现头部 agent 排名难以区分
2026-09-16前沿观察TRIAL
研究者用逐题判定结果审计 254 个 SWE-bench 提交，覆盖四个 split。在 Verified 上，前 30 名的 29 组相邻结果没有一组能被精确配对检验区分。前十名共同解出 285 题、共同失败 51 题，只剩 164 题提供区分信息。固定模型后，不同 scaffold 的观测差距最高达 29.8 分，大于前 30 名整体 8.8 分的跨度。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
对选择 coding agent 的团队来说，排行榜上的小分差不足以支撑采购决策。应在自有工作负载上比较 model-scaffold 组合，报告配对不确定性，并用分层而不是严格名次表达结果。公开的审计流水线无需重跑模型即可复核这些判断。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 数据集 | Verified、Lite、Test 与 Multimodal 共 254 个公开提交 |
|---|---|
| Verified 前十 | 共同成功 285 题；共同失败 51 题；可区分题目 164 个 |
| 配对检验 | 前 30 名的 29 组相邻结果在 alpha 0.05 下均不可区分 |
| Scaffold 影响 | 固定模型后的观测跨度最高 29.8 个百分点 |
| 产物 | 公开冻结输入、脚本、规范化设计和分层结果 |
| 局限 | 观察性审计；无法拒绝差异不等于证明等价 |
技术影响 4
工程价值 5
采用信号 3
成熟度 3
验证成本 2
风险 1