摘要
Microsoft 与 Carnegie Mellon 用 Opus 4.8 和 GPT-5.5,在 TheAgentCompany 与 APEX-Agents 上比较五种 agent 工具接口。单独使用 Bash 比 typed tools 高 21.8–24.5 分和 4.8–7.4 分,同时少用 19–72% 的 token。给 Bash 叠加 typed tools 或持久化的自生成工具,没有带来可检测的总体收益。程序化工具调用能收窄动作范围,也比直接 typed calls 省 token,但质量和成本效率通常仍落后于 Bash。
为什么重要
对选择企业 agent 动作接口的团队,这项研究说明:只要沙箱足够强,通用 shell 可能同时更能干、也更便宜。若合规要求固定工具目录,程序化工具调用仍是更稳妥的折中。结论不支持让 agent 直接访问宿主机;隔离与后果控制必须与 shell 一起设计。
技术细节
| 实验设计 | 五种接口:typed tools、typed tools + Bash、单独 Bash、Bash + 持久化自生成工具、程序化工具调用 |
|---|---|
| 模型 | Opus 4.8 与 GPT-5.5 |
| Benchmark | TheAgentCompany 与 APEX-Agents |
| 分数变化 | Bash 相对 typed tools:TheAgentCompany +21.8 至 +24.5 分;APEX-Agents +4.8 至 +7.4 分 |
| Token 变化 | Bash 的总 token 用量少 19% 至 72% |
| 局限 | 只覆盖两个模型与两个 benchmark 环境;论文未链接公开实现仓库 |
标签
agenttool-useshellprogrammatic-tool-callingenterprise-agentevaluation