SciExam 公开论文、benchmark 与评分代码，并报告十二套 agent 中六套超过已发表模型 baseline。
SciExam 检验 agent 能否在未知答案下构建气候模型
2026-10-08前沿观察TRIAL
SciExam for ENSO 给 agent 六小时，让它们基于真实观测构建低阶气候模型，而不是追一个已知答案。隐藏 grader 检查统计特征、未观测变量重建与留出年份预测。十二套 agent 中有六套据作者报告超过已发表模型 baseline；benchmark 与评分代码已经公开。
可用状态：MIT 代码；benchmark 数据为 CC BY 4.0，但受第三方数据条款约束；含 Docker 与 grader
对你意味着什么
对评估科研 agent 的团队来说，SciExam 检查的是模型能否通过未见过的科学测试，而不只是贴合 rubric。公开包支持重新评分，但科学价值仍需领域专家与独立复现确认。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 任务 | 六小时内基于真实观测构建低阶 ENSO 随机模型 |
|---|---|
| 评分 | 隐藏测试检查 ENSO 统计、未观测变量重建和留出年份预测 |
| 报告的结果 | 十二套 agent 中六套超过已发表模型 baseline |
| 可用性 | MIT 代码；benchmark 数据为 CC BY 4.0，但受第三方数据条款约束；含 Docker 与 grader |
技术影响 4
工程价值 3
采用信号 1
成熟度 2
验证成本 3
风险 2