← 事件库 / Research

AutoSaddler:从失败轨迹自动改进 agent harness

AutoSaddler(arXiv 2608.23041)把 agent harness 的改进当作离线学习问题:从执行轨迹的小批量失败信号中挖掘问题,生成把 harness——prompt、工具配置、控制逻辑——当代码来改的结构化补丁,再通过验证挑选更新。在 GAIA2、SWE-Bench Pro、Terminal-Bench 2.0 上分别比基础 harness 提升 9.0、9.6、10.0 个百分点。消融实验显示收益来自两点:深挖式调试优于浅层反思,泛化导向的筛选优于针对单条轨迹的修补。代码已随项目站开源。

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

对运营 coding agent 的团队来说,harness 正在成为与模型选型同量级的可测量优化对象——而你已经在积累的失败轨迹就是训练数据。方法论可以直接借鉴:诊断失败 run、把 harness 当代码打补丁、只保留在留出任务上验证通过的更新。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

背景材料 · 历史记录,未重新核验

AutoSaddler(arXiv 2608.23041)把 agent harness 的改进当作离线学习问题:从执行轨迹的小批量失败信号中挖掘问题,生成把 harness——prompt、工具配置、控制逻辑——当代码来改的结构化补丁,再通过验证挑选更新。在 GAIA2、SWE-Bench Pro、Terminal-Bench 2.0 上分别比基础 harness 提升 9.0、9.6、10.0 个百分点。消融实验显示收益来自两点:深挖式调试优于浅层反思,泛化导向的筛选优于针对单条轨迹的修补。代码已随项目站开源。

技术细节与六维评分
方法 离线闭环:失败轨迹诊断 -> 结构化补丁生成(harness 即代码)-> 基于验证的更新筛选;按小批量执行轨迹迭代
结果 GAIA2 +9.0pp、SWE-Bench Pro +9.6pp、Terminal-Bench 2.0 +10.0pp(相对基础 harness)
消融 深挖式调试 > 浅层反思;泛化导向筛选 > 单轨迹修补
代码 已随项目网站开源(aka.ms 域名)
隶属 项目站位于 aka.ms(Microsoft 域名);论文页未列机构隶属
ArXiv 2608.23041,2026-08-24 提交
技术影响 4
工程价值 4
采用信号 2
成熟度 2
验证成本 2
风险 2