ThinkingBox 的公开材料与可用边界已由一手来源核验。
Microsoft 开放 ThinkingBox，用数据库终态核验 agent
2026-10-04已核实动态TRIAL
Microsoft 与 Hugging Face 已把 ThinkingBox 接入 OpenEnv。它包含 507 个有状态业务工作流，每个模型运行 20 次，并直接检查数据库终态和副作用，而不是相信 agent 的文字汇报。代码与数据已公开，common-set 分析覆盖 121,680 次有效试验。
对你意味着什么
对部署工具型 agent 的团队来说，这套 benchmark 能暴露 transcript grader 看不到的静默失败：agent 可能正常结束，也确实改了数据，但写错字段或留下多余副作用。公开 harness 适合在上线前测重复稳定性。
证据与关联材料
技术细节与六维评分
| 工作流 | 507 |
|---|---|
| 每个工作流试验次数 | 20 |
| 有效试验 | 121680 |
| 失败试验 | 79853 |
| 失败中正常结束比例 | 67.24% |
| 失败模式 | 错误字段 77.61%；多余副作用 43.30%；缺失副作用 25.36%（可重叠） |
| 许可证 | MIT framework；CDLA-Permissive-2.0 数据；BSD-3 OpenEnv |
技术影响 4
工程价值 5
采用信号 2
成熟度 3
验证成本 2
风险 1