论文提供样本、协议与失败分析,但没有公开可运行产物;结果尚未独立复现。
FeatureArc 发现 coding agent 会把早期缺陷带入后续阶段
2026-10-27前沿观察WATCH
FeatureArc 用同一持久 workspace 中连续两到十个相互依赖的阶段评测 coding agent。十种 agent 在 73 个经人工复核的任务上,首阶段 pooled success 为 62.7%,完整功能只有 28.5%。作者称后续失败中 72.9% 继承了早期缺陷,但没有公开可运行 harness 或代码。
对你意味着什么
对运行长 coding task 的团队来说,第一阶段成功不能代表完整功能能交付。这组结果支持在阶段之间加入累积回归门,但产物缺失使它还不能直接成为可部署 benchmark。
前沿观察
公开材料与效果验证,分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 样本 | 10 种 coding agent;73 个经人工复核任务;2-10 个阶段;四种编程语言 |
|---|---|
| 协议 | 同一持久会话与 workspace;不给外部测试反馈或回滚 |
| 首阶段成功率 | pooled 62.7% |
| 完整功能成功率 | pooled 28.5% |
| 继承缺陷 | 后续失败中的 72.9% |
| 公开产物 | 未发现公开 harness 或代码 |
| 时间依据 | arXiv 提交于 2026-10-27T15:45:50Z;位于 overlap,比上一 checkpoint 早 13 分 25 秒 |
技术影响 3
工程价值 4
采用信号 1
成熟度 1
验证成本 3
风险 2