Microsoft 与 Carnegie Mellon 用 Opus 4.8 和 GPT-5.5,在 TheAgentCompany 与 APEX-Agents 上比较五种 agent 工具接口。单独使用 Bash 比 typed tools 高 21.8–24.5 分和 4.8–7.4 分,同时少用 19–72% 的 token。给 Bash 叠加 typed tools 或持久化的自生成工具,没有带来可检测的总体收益。程序化工具调用能收窄动作范围,也比直接 typed calls 省 token,但质量和成本效率通常仍落后于 Bash。
研究发现 shell 胜过企业 agent 的 typed tools
2026-09-14前沿观察TRIAL
Microsoft 与 Carnegie Mellon 用 Opus 4.8 和 GPT-5.5,在 TheAgentCompany 与 APEX-Agents 上比较五种 agent 工具接口。单独使用 Bash 比 typed tools 高 21.8–24.5 分和 4.8–7.4 分,同时少用 19–72% 的 token。给 Bash 叠加 typed tools 或持久化的自生成工具,没有带来可检测的总体收益。程序化工具调用能收窄动作范围,也比直接 typed calls 省 token,但质量和成本效率通常仍落后于 Bash。
本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。
对你意味着什么
对选择企业 agent 动作接口的团队,这项研究说明:只要沙箱足够强,通用 shell 可能同时更能干、也更便宜。若合规要求固定工具目录,程序化工具调用仍是更稳妥的折中。结论不支持让 agent 直接访问宿主机;隔离与后果控制必须与 shell 一起设计。
前沿观察
公开材料与效果验证,分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 实验设计 | 五种接口:typed tools、typed tools + Bash、单独 Bash、Bash + 持久化自生成工具、程序化工具调用 |
|---|---|
| 模型 | Opus 4.8 与 GPT-5.5 |
| Benchmark | TheAgentCompany 与 APEX-Agents |
| 分数变化 | Bash 相对 typed tools:TheAgentCompany +21.8 至 +24.5 分;APEX-Agents +4.8 至 +7.4 分 |
| Token 变化 | Bash 的总 token 用量少 19% 至 72% |
| 局限 | 只覆盖两个模型与两个 benchmark 环境;论文未链接公开实现仓库 |
技术影响 4
工程价值 5
采用信号 2
成熟度 2
验证成本 3
风险 4