← 事件库 / Agent Security

EpiSEM-Bench 揭示工具漏掉关键事实时的 agent 越界

EpiSEM-Bench 用 300 组安全/不安全配对任务测试:工具返回的每句话都是真的,但刻意缺少一个决定动作是否合法的关键事实。10 个模型在越界执行、主动补证和补证后正确行动上差异很大;提供恢复入口能降低所有模型的越界率,却不能保证 agent 会主动使用它。论文未找到公开实现。

对你意味着什么

对构建工具型 agent 的团队来说,安全问题不只来自假数据或恶意 prompt;“真实但不完整”的工具结果也会让模型越权。权限相关事实应由 runtime 强制读取并做确定性 gate,不能只期待模型追问。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

技术细节与六维评分
评测集 6 个领域、300 组安全/不安全配对任务
模型数 10
失效方式 工具省略关键安全事实,但返回陈述仍为真
审计 独立工具检查补证与正确行动
结果边界 恢复入口降低全部模型的越界执行,但主动补证能力差异明显
公开产物 本轮只找到论文,未找到公开代码
时间依据 arXiv v1 提交于 2026-10-22T17:57:04Z
技术影响 4
工程价值 4
采用信号 1
成熟度 1
验证成本 3
风险 3