FDE-Gym 公开了评测论文、harness 与三个示例任务。
FDE-Gym 用模糊客户需求测试 agent 交付能力
2026-10-16前沿观察TRIAL
FDE-Gym 收集 95 项端到端交付任务，覆盖 20 个客户场景与 18 个行业。agent 需要追问未写明的约束、修改正在运行的系统，并以客户业务指标的提升来评分。作者评测 7 家供应商的 13 种模型配置，最佳配置只解决 14 项任务。公开 harness 与三个示例任务可复测，完整任务需申请。
可用状态：Apache-2.0 harness 与 3 个公开示例；完整 20 个场景需申请；变体与参考解答不公开
对你意味着什么
对评估 coding agent 的团队来说，这补上了“代码通过测试但客户结果不改善”的盲区；不过完整数据受控、评分来自作者运行，迁移到自己的交付流程仍需验证。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 任务 | 95 项任务、20 个客户场景、18 个行业 |
|---|---|
| 评分 | 归一化业务提升减去利益相关者沟通成本 |
| 作者结果 | 最佳均值 0.56；95 项中 14 项达到不低于 0.8 且无事故 |
| 可用性 | Apache-2.0 harness 与 3 个公开示例；完整 20 个场景需申请；变体与参考解答不公开 |
| 时间依据 | arXiv v1 发布于 2026-10-15T17:57:23Z；因索引延迟在本轮发现 |
技术影响 3
工程价值 5
采用信号 2
成熟度 2
验证成本 3
风险 2