https://derekwang2002.github.io/ai-intelligence/projects/novelty-judge-bench/ AI 模型、Agent、工程与基础设施的重要变化，附一手来源与建议等级。 zh-CN Mon, 02 Nov 2026 16:56:00 GMT https://derekwang2002.github.io/ai-intelligence/events/ev-20261027-03/ ev-20261027-03-published Wed, 28 Oct 2026 15:58:44 GMT 新事件 TRIAL <p>Ai2 发布用于评测“研究想法是否新颖”的 LLM judge 代码、数据和 benchmark。六种 judge 中，轻微提示变化有时会让同一批 AI 生成想法超过一半的判定翻转。检索和更多推理没有稳定改善结果，专用评审系统在作者实验中还不如简单提示基线。</p><p><strong>为什么读：</strong>Novelty Judge Bench 公开代码与数据，为研究 agent 的想法去重提供可复现起点，同时明确暴露弱标签限制。</p><p>建议等级：TRIAL</p><p>来源：<a href="https://huggingface.co/blog/allenai/novelty-bench">Can we trust LLMs to judge whether a research idea is novel?</a> · <a href="https://github.com/allenai/novelty-eval">Ai2 novelty evaluation code</a> · <a href="https://huggingface.co/datasets/allenai/novelty-judge-bench">Ai2 Novelty Judge Bench dataset</a></p>