← 事件库 / AI Engineering

研究发现 shell 胜过企业 agent 的 typed tools

Microsoft 与 Carnegie Mellon 用 Opus 4.8 和 GPT-5.5,在 TheAgentCompany 与 APEX-Agents 上比较五种 agent 工具接口。单独使用 Bash 比 typed tools 高 21.8–24.5 分和 4.8–7.4 分,同时少用 19–72% 的 token。给 Bash 叠加 typed tools 或持久化的自生成工具,没有带来可检测的总体收益。程序化工具调用能收窄动作范围,也比直接 typed calls 省 token,但质量和成本效率通常仍落后于 Bash。

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

对选择企业 agent 动作接口的团队,这项研究说明:只要沙箱足够强,通用 shell 可能同时更能干、也更便宜。若合规要求固定工具目录,程序化工具调用仍是更稳妥的折中。结论不支持让 agent 直接访问宿主机;隔离与后果控制必须与 shell 一起设计。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

背景材料 · 历史记录,未重新核验

Microsoft 与 Carnegie Mellon 用 Opus 4.8 和 GPT-5.5,在 TheAgentCompany 与 APEX-Agents 上比较五种 agent 工具接口。单独使用 Bash 比 typed tools 高 21.8–24.5 分和 4.8–7.4 分,同时少用 19–72% 的 token。给 Bash 叠加 typed tools 或持久化的自生成工具,没有带来可检测的总体收益。程序化工具调用能收窄动作范围,也比直接 typed calls 省 token,但质量和成本效率通常仍落后于 Bash。

技术细节与六维评分
实验设计 五种接口:typed tools、typed tools + Bash、单独 Bash、Bash + 持久化自生成工具、程序化工具调用
模型 Opus 4.8 与 GPT-5.5
Benchmark TheAgentCompany 与 APEX-Agents
分数变化 Bash 相对 typed tools:TheAgentCompany +21.8 至 +24.5 分;APEX-Agents +4.8 至 +7.4 分
Token 变化 Bash 的总 token 用量少 19% 至 72%
局限 只覆盖两个模型与两个 benchmark 环境;论文未链接公开实现仓库
技术影响 4
工程价值 5
采用信号 2
成熟度 2
验证成本 3
风险 4