论文（arXiv 2608.22960）把 coding agent 的过程评估拆为 action、task、step 三层，并用 SCAE 实现 step 级因果归因——一个建立在 agent 执行结构因果模型上的重放式估计器，结合前缀条件识别、重放/干预式估计与对 judge 信息量的受控操纵。在 12 个仓库的 499 段文件定位轨迹上发现：下一步行动主要由执行历史驱动，而非代码图转移；全轨迹 LLM judge 存在系统性 collider bias——它们倾向于奖励语义相关性，而不是经过认证的因果贡献。
研究：LLM 过程评估打的是语义相关性，不是因果贡献
2026-08-26前沿观察WATCH
论文（arXiv 2608.22960）把 coding agent 的过程评估拆为 action、task、step 三层，并用 SCAE 实现 step 级因果归因——一个建立在 agent 执行结构因果模型上的重放式估计器，结合前缀条件识别、重放/干预式估计与对 judge 信息量的受控操纵。在 12 个仓库的 499 段文件定位轨迹上发现：下一步行动主要由执行历史驱动，而非代码图转移；全轨迹 LLM judge 存在系统性 collider bias——它们倾向于奖励语义相关性，而不是经过认证的因果贡献。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
如果你的 agent 评估流水线在用 LLM judge 给整条轨迹打分，这条证据说明你测到的有一部分是「说得通」而不是「真有用」——拿这个数字卡上线有风险。基于重放与干预的 step 级归因跑起来更贵，但结论站得住，这在评估结果直接影响发布决策的场景里很关键。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 框架 | 过程评估三层：action、task、step；SCAE = 基于 agent 执行结构因果模型的重放式 step 级因果归因 |
|---|---|
| 方法 | 前缀条件识别；重放/干预式估计；对 judge 信息量的受控操纵 |
| 数据 | 499 段文件定位轨迹，12 个仓库 |
| 发现 | 下一步行动由执行历史而非代码图转移驱动；不确定性在 task 层结构化；全轨迹 judge 存在系统性 collider bias（语义相关性高于因果贡献） |
| 代码 | 未放出 |
| ArXiv | 2608.22960，2026-08-24 提交 |
技术影响 2
工程价值 3
采用信号 1
成熟度 2
验证成本 3
风险 1