论文与公开代码确认协议机制、tau-bench 压力测试、违规计数及单场景限制。
Concordat 用类型化协议约束 LLM agent 动作
2026-10-28前沿观察TRIAL
Concordat 是开源 Python 库,只向 agent 暴露当前协议状态允许的工具,并在副作用发生前拒绝非法调用。研究者在 tau-bench 航空任务中加入催促 agent 跳过确认的用户。标准 agent 在 GPT-4.1 的 50 个任务中违规 13 次,在 Claude Haiku 5.5 的 128 次运行中违规 29 次;Concordat 为 0,任务成功率没有统计显著差异。
对你意味着什么
对构建交易型 agent 的团队来说,运行时协议比只写在 prompt 里的确认与交接规则更难绕过。现有证据只来自一个合成航空场景,仍需在真实工具、故障与状态恢复下复现。
前沿观察
公开材料与效果验证,分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 机制 | 有限状态 typestate/session 协议;只暴露合法工具;非法调用在副作用前拦截 |
|---|---|
| 人工边界 | 仅限人类的决策只能请求,模型不能直接执行 |
| 评测 | 50 个 tau-bench 航空任务加入确认压力;Claude Haiku 5.5 共 128 次任务运行 |
| 结果 | 违规更改:GPT-4.1 标准 agent 13/50;Claude Haiku 5.5 标准 agent 29/128;Concordat 为 0 |
| 证据限制 | 单一合成航空场景;作者自评;任务成功率没有统计显著差异 |
| 公开材料 | Python 库、benchmark harness 与结果均公开 |
| 时间依据 | arXiv v1 发布于 2026-10-27T16:00:26Z;上一轮暂缓,本轮按 late discovery 补录 |
技术影响 4
工程价值 4
采用信号 2
成熟度 2
验证成本 3
风险 2