ExplorationBench 把 agent 放进两个可执行世界,规则刻意与常识冲突。AlienCode 与 AlienLogic 提供有缺陷的手册、环境反馈和工具 schema,再用解释器或证明检查器验收留出任务。十个系统中,最强轨迹确实能学会并应用陌生规则,但不同轨迹差异很大,继续探索有时还会推翻之前的进展。benchmark 包含 55 个发现目标和 140 道题;项目站点明确写着不会公开代码与任务数据。
ExplorationBench 测试 agent 能否学会陌生规则
2026-09-25前沿观察WATCH
ExplorationBench 把 agent 放进两个可执行世界,规则刻意与常识冲突。AlienCode 与 AlienLogic 提供有缺陷的手册、环境反馈和工具 schema,再用解释器或证明检查器验收留出任务。十个系统中,最强轨迹确实能学会并应用陌生规则,但不同轨迹差异很大,继续探索有时还会推翻之前的进展。benchmark 包含 55 个发现目标和 140 道题;项目站点明确写着不会公开代码与任务数据。
可用状态:项目站点称不会公开代码与任务
本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。
对你意味着什么
对 research agent 团队来说,它比普通知识题更能区分“记住已知答案”和“通过实验学到新规律”。但在题目与代码公开前应先观察;缺少这些产物,独立复现和污染检查都受限。
前沿观察
公开材料与效果验证,分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 环境 | AlienCode 与 AlienLogic |
|---|---|
| 范围 | 55 个发现目标;140 道留出题;十个系统 |
| 验收 | 可执行解释器、证明检查器与有界验证器 |
| 最佳轨迹 | AlienCode 从探索前最高 15.7% 提升到四轮后的 87.6% |
| 失败模式 | 继续探索可能停滞或让已有进展倒退 |
| 可用性 | 项目站点称不会公开代码与任务 |
技术影响 3
工程价值 3
采用信号 1
成熟度 1
验证成本 4
风险 2