← 事件库 / Research

ExplorationBench 测试 agent 能否学会陌生规则

ExplorationBench 把 agent 放进两个可执行世界,规则刻意与常识冲突。AlienCode 与 AlienLogic 提供有缺陷的手册、环境反馈和工具 schema,再用解释器或证明检查器验收留出任务。十个系统中,最强轨迹确实能学会并应用陌生规则,但不同轨迹差异很大,继续探索有时还会推翻之前的进展。benchmark 包含 55 个发现目标和 140 道题;项目站点明确写着不会公开代码与任务数据。

可用状态:项目站点称不会公开代码与任务

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

对 research agent 团队来说,它比普通知识题更能区分“记住已知答案”和“通过实验学到新规律”。但在题目与代码公开前应先观察;缺少这些产物,独立复现和污染检查都受限。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

背景材料 · 历史记录,未重新核验

ExplorationBench 把 agent 放进两个可执行世界,规则刻意与常识冲突。AlienCode 与 AlienLogic 提供有缺陷的手册、环境反馈和工具 schema,再用解释器或证明检查器验收留出任务。十个系统中,最强轨迹确实能学会并应用陌生规则,但不同轨迹差异很大,继续探索有时还会推翻之前的进展。benchmark 包含 55 个发现目标和 140 道题;项目站点明确写着不会公开代码与任务数据。

技术细节与六维评分
环境 AlienCode 与 AlienLogic
范围 55 个发现目标;140 道留出题;十个系统
验收 可执行解释器、证明检查器与有界验证器
最佳轨迹 AlienCode 从探索前最高 15.7% 提升到四轮后的 87.6%
失败模式 继续探索可能停滞或让已有进展倒退
可用性 项目站点称不会公开代码与任务
技术影响 3
工程价值 3
采用信号 1
成熟度 1
验证成本 4
风险 2