← 事件库 / Research

VLoc Bench 发现 agent 难以定位漏洞代码

VLoc Bench 把 290 个仓库中的 500 个真实漏洞配成修复前后快照。agent 只拿到漏洞类别说明和只读终端,需要找出受影响文件,或确认修复后已不存在。27 个模型和四种静态分析工具中,最佳 File F1 仅 0.229;38.4% 的任务无人定位正确。修复后,较强的定位器也会误报。

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

对部署安全 agent 的团队,应分别验收文件定位能力和修复后的拒报能力。只看漏洞判断结论,无法证明它会可靠地搜索仓库。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

背景材料 · 历史记录,未重新核验

VLoc Bench 把 290 个仓库中的 500 个真实漏洞配成修复前后快照。agent 只拿到漏洞类别说明和只读终端,需要找出受影响文件,或确认修复后已不存在。27 个模型和四种静态分析工具中,最佳 File F1 仅 0.229;38.4% 的任务无人定位正确。修复后,较强的定位器也会误报。

技术细节与六维评分
数据集 500 个漏洞;290 个仓库;六种生态;147 类 CWE
评测 27 个模型和四种静态分析工具
最佳 File F1 0.229
无人正确定位的任务 38.4%
代码 摘要页未链接仓库
技术影响 3
工程价值 4
采用信号 1
成熟度 2
验证成本 3
风险 2