自动 harness 演化通常把每个候选修改在固定任务集上全部打分，总分容易掩盖局部回归。HarnessLens 改为联合探索任务空间与用户可配置组件，从执行轨迹导出候选修改，再通过可归因证据门只在与行为相关的任务上验证候选。在 3 个 agent harness、4 个 benchmark 上，留出集平均性能提升 7.6-13.6%，评估预算显著低于 propose-and-verify 基线。代码已在 GitHub 开源。
HarnessLens：在验证预算内自动演化 agent harness
2026-08-29前沿观察WATCH
自动 harness 演化通常把每个候选修改在固定任务集上全部打分，总分容易掩盖局部回归。HarnessLens 改为联合探索任务空间与用户可配置组件，从执行轨迹导出候选修改，再通过可归因证据门只在与行为相关的任务上验证候选。在 3 个 agent harness、4 个 benchmark 上，留出集平均性能提升 7.6-13.6%，评估预算显著低于 propose-and-verify 基线。代码已在 GitHub 开源。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
这是一周内第二个独立结果（8/26 的 AutoSaddler 之后）证明 harness 是可测量的优化对象，新贡献在成本：评估很贵时，行为感知的验证让演化循环负担得起。可归因证据门值得直接搬进自己的「评估驱动 prompt / 工具调优」循环。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 方法 | 任务空间 + 用户可配置组件联合探索；轨迹导出候选；可归因证据门选出行为相关任务做选择性验证 |
|---|---|
| 结果 | 3 个 harness x 4 个 benchmark，留出集平均 +7.6-13.6%，评估预算显著低于 propose-and-verify 基线 |
| 关联 | 与 AutoSaddler（arXiv 2608.23041，8/26）在「harness 即优化对象」上收敛；差异在预算感知验证 |
| 代码 | https://github.com/jhxu5214/HarnessLens |
| ArXiv | 2608.27311，2026-08-27 提交 |
技术影响 3
工程价值 4
采用信号 1
成熟度 2
验证成本 2
风险 2