SWE-Gate（arXiv 2609.04167，9 月 4 日周五 digest，cs.AI）是 303 个仓库级修复实例的基准，覆盖 75 个开源 Python 仓库，每个实例带从真实 PR 评审意见中提炼的评审约束，并把功能正确性与约束合规分开度量——独立的功能测试与约束测试，外加不合规补丁与黄金补丁。在统一脚手架、四个 LLM 底座下：644 个通过功能测试的修复中，221 个过不了评审约束。复现包已公开。
SWE-Gate：三分之一的「测试通过」修复过不了评审约束
2026-09-05前沿观察TRIAL
SWE-Gate（arXiv 2609.04167，9 月 4 日周五 digest，cs.AI）是 303 个仓库级修复实例的基准，覆盖 75 个开源 Python 仓库，每个实例带从真实 PR 评审意见中提炼的评审约束，并把功能正确性与约束合规分开度量——独立的功能测试与约束测试，外加不合规补丁与黄金补丁。在统一脚手架、四个 LLM 底座下：644 个通过功能测试的修复中，221 个过不了评审约束。复现包已公开。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
「测试通过」是当前 coding agent 的验收线，这个基准把这条线离「人类会接受这个补丁」有多远量化出来了——三分之一。让 agent 写代码的团队应该在自己的评测 harness 里加上约束式检查（从自己的评审惯例提炼）；基准本身及其不合规 / 黄金补丁对可以直接用。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| ArXiv | 2609.04167，2026 年 9 月 4 日周五 digest 宣告（cs.AI 池） |
|---|---|
| 基准 | 303 个仓库级修复实例，75 个开源 Python 仓库；评审约束提炼自真实 PR 评审意见 |
| 设计 | 功能正确性与约束合规独立度量；附不合规补丁与黄金补丁 |
| 结果 | 统一脚手架、4 个 LLM 底座：644 个功能通过的修复中 221 个违反评审约束（约 34%） |
| 代码 | 复现包公开于 github.com/DeepSoftwareAnalytics |
技术影响 3
工程价值 4
采用信号 2
成熟度 2
验证成本 2
风险 1