← 事件库 / Research

FeatureArc 发现 coding agent 会把早期缺陷带入后续阶段

FeatureArc 用同一持久 workspace 中连续两到十个相互依赖的阶段评测 coding agent。十种 agent 在 73 个经人工复核的任务上,首阶段 pooled success 为 62.7%,完整功能只有 28.5%。作者称后续失败中 72.9% 继承了早期缺陷,但没有公开可运行 harness 或代码。

对你意味着什么

对运行长 coding task 的团队来说,第一阶段成功不能代表完整功能能交付。这组结果支持在阶段之间加入累积回归门,但产物缺失使它还不能直接成为可部署 benchmark。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

技术细节与六维评分
样本 10 种 coding agent;73 个经人工复核任务;2-10 个阶段;四种编程语言
协议 同一持久会话与 workspace;不给外部测试反馈或回滚
首阶段成功率 pooled 62.7%
完整功能成功率 pooled 28.5%
继承缺陷 后续失败中的 72.9%
公开产物 未发现公开 harness 或代码
时间依据 arXiv 提交于 2026-10-27T15:45:50Z;位于 overlap,比上一 checkpoint 早 13 分 25 秒
技术影响 3
工程价值 4
采用信号 1
成熟度 1
验证成本 3
风险 2