论文与公开数据产物确认语料规模、benchmark 设计与作者结果。
OpenFrontiers 区分 agent 是重发现还是检索数学答案
2026-10-28前沿观察WATCH
OpenFrontiers 公开 12,151 道题的语料和 200 题 benchmark，用来区分 agent 是检索已知数学解答，还是在闭卷条件下重新推导。作者还提供 50 题高质量子集和 Lean 4 statement。在 40 道已有结论的 HQ-50 题上，最佳闭卷 agent 最多重发现 7 道；联网成功大多来自检索已发表答案。
可用状态：三个公开 Hugging Face 产物
对你意味着什么
对 autonomous research 评测来说，只看答案正确率会把检索误当成发现。这个数据集把两者显式拆开，但它仍是作者设计的 benchmark，不能证明通用科学自主性。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 语料 | 12,151 道题 |
|---|---|
| Benchmark | 200 题，另有 HQ-50 子集与 Lean 4 statement |
| 作者结果 | 最佳闭卷 agent 在 40 道已解决 HQ-50 题中最多重发现 7 道 |
| 可用性 | 三个公开 Hugging Face 产物 |
| 时间依据 | arXiv API 发布时间为 2026-10-27T16:49:33Z；从 2026-10-31 announcement feed 补录 |
技术影响 3
工程价值 2
采用信号 1
成熟度 2
验证成本 3
风险 2