KaliBench 已公开数据、评分、Docker 评测和训练方案。
KaliBench 检验模型能否组合安全工具命令
2026-10-02前沿观察TRIAL
KaliBench 发布 8,504 组经过核验的自然语言与命令对，覆盖 1,642 个 Kali Linux 子工具和 23 个能力维度。数据分为 3,504 条训练样本与 5,000 条 held-out 测试，并公开评分、Docker 评测、数据及 RedSage-K 训练方案。作者测试中，最强的无限制开放权重模型准确率仍低于 42%。
对你意味着什么
对安全 agent 团队来说，KaliBench 把命令组合能力变成可复现的公开测试。先跑一天基线，就能在授予真实 shell 权限前发现模型是否真正理解参数与工具组合。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 数据集 | 8,504 组核验样本；3,504 条训练、5,000 条 held-out 测试 |
|---|---|
| 覆盖范围 | 1,642 个 Kali Linux 子工具、23 个能力维度 |
| 公开材料 | 数据、精确评分、Docker 评测与 SFT/GRPO 方案 |
| 作者结果 | 最强无限制开放权重模型准确率低于 42% |
| 安全边界 | 可先评分命令结构，不必给模型真实攻击目标 |
技术影响 3
工程价值 4
采用信号 2
成熟度 3
验证成本 3
风险 3