摘要
VLoc Bench 把 290 个仓库中的 500 个真实漏洞配成修复前后快照。agent 只拿到漏洞类别说明和只读终端，需要找出受影响文件，或确认修复后已不存在。27 个模型和四种静态分析工具中，最佳 File F1 仅 0.229；38.4% 的任务无人定位正确。修复后，较强的定位器也会误报。
为什么重要
对部署安全 agent 的团队，应分别验收文件定位能力和修复后的拒报能力。只看漏洞判断结论，无法证明它会可靠地搜索仓库。
技术细节
| 数据集 | 500 个漏洞；290 个仓库；六种生态；147 类 CWE |
|---|---|
| 评测 | 27 个模型和四种静态分析工具 |
| 最佳 File F1 | 0.229 |
| 无人正确定位的任务 | 38.4% |
| 代码 | 摘要页未链接仓库 |
标签
agent-evaluationsecuritycoding-agents