Ai2 的研究文章、代码与数据共同支持 benchmark 设计、提示敏感性结果和公开产物范围。
Novelty Bench 揭示 LLM 新颖性评审易受提示影响
2026-10-28前沿观察TRIAL
Ai2 发布用于评测“研究想法是否新颖”的 LLM judge 代码、数据和 benchmark。六种 judge 中，轻微提示变化有时会让同一批 AI 生成想法超过一半的判定翻转。检索和更多推理没有稳定改善结果，专用评审系统在作者实验中还不如简单提示基线。
对你意味着什么
对自动化科研流水线来说，不测提示和模型敏感度，就不能把“新颖性分数”当稳定门槛。公开产物让团队可以低成本检验自己的 ideation 流程是否同样脆弱。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 公开产物 | Apache-2.0 代码仓库与公开 Hugging Face 数据集 |
|---|---|
| Human-Only 样本 | 从 ICLR 2026 review 提取 154 个高新颖性和 145 个低新颖性人类想法 |
| Human+Generated 样本 | 154 个经 review 支持的人类想法与 154 个简单 LLM 生成想法配对 |
| 主要不稳定性 | 一次提示改动让 GPT-5.4 在 Human+Generated 上的两两比较准确率从 93.5% 降到 40.9% |
| 标签限制 | AI 生成想法使用 weak labels，并未逐条独立裁定 |
| 时间依据 | Hugging Face RSS 发布于 2026-10-27T16:12:42Z |
技术影响 4
工程价值 4
采用信号 2
成熟度 2
验证成本 2
风险 2