← 事件库 / Research

验证器发现:约 40% 已验收的 LLM 生成 GPU kernel 有缺陷

论文提出一个面向 AI 生成 GPU kernel 的验证器,包含 12 个对抗性的属性检查门(property-based gates,多数为零容差),与参考正确性代码的一致率达 98.5%。作者用它审计了 2,638 个已公开通过验收的机器生成 kernel:39.5% 存在无法靠容差解释的错误,62.1% 至少有一项违规。业界标准测试放过了其中 1,487 个被该验证器拒绝的 kernel。

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

对只靠宽松测试就给 LLM 生成代码放行上线的团队,这是一条可以直接照做的警告:基于属性的对抗性检查应该进 CI,成为 kernel 和代码的必测项。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

背景材料 · 历史记录,未重新核验

论文提出一个面向 AI 生成 GPU kernel 的验证器,包含 12 个对抗性的属性检查门(property-based gates,多数为零容差),与参考正确性代码的一致率达 98.5%。作者用它审计了 2,638 个已公开通过验收的机器生成 kernel:39.5% 存在无法靠容差解释的错误,62.1% 至少有一项违规。业界标准测试放过了其中 1,487 个被该验证器拒绝的 kernel。

技术细节与六维评分
审计的 Kernel 数 2638
无法以容差解释 39.5%
至少一处违规 62.1%
与参考正确性代码一致率 98.5%
代码 Zenodo artifact,无 GitHub 仓库
技术影响 3
工程价值 4
采用信号 2
成熟度 2
验证成本 3
风险 2