← 事件库 / business-policy

英国 AISI 通过 EvalEval 发布可复现的前沿模型评估

英国 AI Security Institute 开始通过 EvalEval 的共享 schema 与 Evaluation Cards 发布经过核验的前沿模型结果。首批数据覆盖六个前沿模型,以及 HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro、Terminal-Bench 2.0 和两项网络安全评估。每条记录都带有配置上下文与评估方法,不再只有一个排行榜分数。该工作还分析了推理时算力与评估协议如何改变最终成绩。

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

对需要比较模型声明的团队来说,带配置和方法的机读结果,比截图或厂商表格更容易审计。这是政府评估机构采用共享报告格式的具体案例,但目前仍只有一个发布方。应继续观察其他实验室和评估机构是否采用同一 schema,再判断它能否成为标准。

证据与关联材料

背景材料 · 历史记录,未重新核验

英国 AI Security Institute 开始通过 EvalEval 的共享 schema 与 Evaluation Cards 发布经过核验的前沿模型结果。首批数据覆盖六个前沿模型,以及 HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro、Terminal-Bench 2.0 和两项网络安全评估。每条记录都带有配置上下文与评估方法,不再只有一个排行榜分数。该工作还分析了推理时算力与评估协议如何改变最终成绩。

技术细节与六维评分
格式 EvalEval 共享 schema 与 Evaluation Cards
发布方 英国 AI Security Institute
覆盖 六个前沿模型;七组评估
Benchmark HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro、Terminal-Bench 2.0 与两项网络安全评估
记录上下文 模型配置、推理时算力与评估协议
技术影响 3
工程价值 3
采用信号 2
成熟度 3
验证成本 2
风险 1