DUMA-Bench 把 agent 安全评测扩展到双控制环境：用户和 agent 都能改变共享状态。在 14 个模型、8 个领域和 3,920 次保存的运行中，加入交互式对抗用户后，整体攻击成功率从 26.9% 升至 41.1%。套件覆盖 RAG 投毒、跨 agent 操纵、不安全输出、数据泄露和工具影子攻击，多数检查使用确定性的状态断言。
DUMA-Bench：交互用户将 agent 攻击成功率推至 41%
2026-09-21前沿观察TRIAL
DUMA-Bench 把 agent 安全评测扩展到双控制环境：用户和 agent 都能改变共享状态。在 14 个模型、8 个领域和 3,920 次保存的运行中，加入交互式对抗用户后，整体攻击成功率从 26.9% 升至 41.1%。套件覆盖 RAG 投毒、跨 agent 操纵、不安全输出、数据泄露和工具影子攻击，多数检查使用确定性的状态断言。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
对做 agent 红队测试的团队来说，单轮恶意 prompt 会低估真实风险，因为用户能根据每次工具结果继续调整攻击。安全 gate 应加入多轮、会改变环境状态的对手，并用可重放的环境断言验收。DUMA-Bench 可以作为起点，但它只有 35 个场景，用户行为也部分来自模拟，不能单独支撑生产安全结论。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 模型 | 覆盖 OpenAI、Anthropic、DeepSeek、Qwen 与 Z.ai 五个家族的 14 个模型 |
|---|---|
| 覆盖范围 | 8 个领域、35 个可执行场景，每种交互制度 1,960 次试验 |
| 攻击成功率 | 被动用户 26.9%，双控制 41.1%，上升 14.2 个百分点 |
| 评分 | 以确定性的运行后状态断言为主，必要时用 GPT-4o 检查沟通内容 |
| Judge 审计 | 人工抽查 60 个沟通断言，56 个与 judge 一致 |
| 代码 | GitHub 仓库已公开 |
技术影响 3
工程价值 4
采用信号 2
成熟度 2
验证成本 3
风险 2