这项方法不再随机抽取 coding agent 回归用例,而是从历史逐步运行的轨迹嵌入中挑选代表任务。只跑 10% 用例时,解决率估计的中位误差低于 5%,token 使用量约减少 90%。在配置、模型和 agent framework 变化的场景中,相比最强随机基线的一次较差抽样,最坏误差还下降 38% 至 46%。
轨迹采样将 coding agent 回归成本降低约九成
2026-09-22前沿观察WATCH
这项方法不再随机抽取 coding agent 回归用例,而是从历史逐步运行的轨迹嵌入中挑选代表任务。只跑 10% 用例时,解决率估计的中位误差低于 5%,token 使用量约减少 90%。在配置、模型和 agent framework 变化的场景中,相比最强随机基线的一次较差抽样,最坏误差还下降 38% 至 46%。
本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。
对你意味着什么
对每次发布都要重跑 SWE-agent benchmark 的团队来说,全量评测可能消耗数亿 token。轨迹感知子集适合做快速 CI gate,但仍要定期跑全量套件,因为模型和 scaffold 改变后,代表用例也会老化。论文没有公开实现链接,依赖这些节省数字前应先复现方法。
前沿观察
公开材料与效果验证,分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 方法 | 在轨迹嵌入空间中,确定性选择靠近各结果组质心的用例 |
|---|---|
| 评测 | 76 种子集配置,覆盖相同配置、模型或配置变化、framework 变化三类回归 |
| 子集 | benchmark 用例的 10% |
| 中位误差 | 低于 5% |
| Token 降幅 | 约 90% |
| 最坏情况收益 | 相比最强基线第 95 百分位随机抽样,误差低 38%-46% |
技术影响 3
工程价值 5
采用信号 1
成熟度 1
验证成本 4
风险 2