← 事件库 / AI Engineering

用 draft 模型当闸门,在执行前预测 coding agent 失败

《Speculative Uncertainty》(arX 2609.05274,9 月 7 日周一 digest)只凭输出 token 就能为黑盒 agent 恢复出预测性失败信号——不需要 logits、权重、激活或重复采样。做法是反转推测解码:一个小型开源 draft 模型对 agent 已生成的轨迹做单次前向打分,得到投机交叉似然,再从中提取按阶段分离(推理段 vs 动作段)的特征,对照可验证目标做校准。产出的失败似然分数可接入任何下游策略;在 Qwen3-Coder-480B 与 Claude 3.5 Sonnet 两个软件工程 agent 上实例化为执行前否决闸门后,执行错误率下降 6-8 个百分点,token 成本下降 14-19%。

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

这是给生产 agent 部署最痛的问题——自信地做错、执行完才发现——提供的即插即用不确定性信号。它只需要轨迹文本和一个小 draft 模型的一次前向,因此对闭源 agent(已测 Sonnet)同样适用,延迟开销可忽略。在跑重试循环或人工升级策略的团队,这里拿到的是一个便宜且校准过的触发器。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

背景材料 · 历史记录,未重新核验

《Speculative Uncertainty》(arX 2609.05274,9 月 7 日周一 digest)只凭输出 token 就能为黑盒 agent 恢复出预测性失败信号——不需要 logits、权重、激活或重复采样。做法是反转推测解码:一个小型开源 draft 模型对 agent 已生成的轨迹做单次前向打分,得到投机交叉似然,再从中提取按阶段分离(推理段 vs 动作段)的特征,对照可验证目标做校准。产出的失败似然分数可接入任何下游策略;在 Qwen3-Coder-480B 与 Claude 3.5 Sonnet 两个软件工程 agent 上实例化为执行前否决闸门后,执行错误率下降 6-8 个百分点,token 成本下降 14-19%。

技术细节与六维评分
方法 小型开源 draft 模型对已生成轨迹单次前向打分(反转推测解码);阶段感知特征分离推理段与动作段;对照可验证目标校准
要求 只需输出 token——无需 logits/权重/激活/重复采样;适用于黑盒/闭源 agent
结果 在 Qwen3-Coder-480B 与 Claude 3.5 Sonnet 上的执行前否决闸门:执行错误率 -6 至 -8 个百分点;token 成本 -14% 至 -19%
技术影响 3
工程价值 4
采用信号 2
成熟度 2
验证成本 2
风险 2