摘要

《Speculative Uncertainty》(arX 2609.05274,9 月 7 日周一 digest)只凭输出 token 就能为黑盒 agent 恢复出预测性失败信号——不需要 logits、权重、激活或重复采样。做法是反转推测解码:一个小型开源 draft 模型对 agent 已生成的轨迹做单次前向打分,得到投机交叉似然,再从中提取按阶段分离(推理段 vs 动作段)的特征,对照可验证目标做校准。产出的失败似然分数可接入任何下游策略;在 Qwen3-Coder-480B 与 Claude 3.5 Sonnet 两个软件工程 agent 上实例化为执行前否决闸门后,执行错误率下降 6-8 个百分点,token 成本下降 14-19%。

为什么重要
这是给生产 agent 部署最痛的问题——自信地做错、执行完才发现——提供的即插即用不确定性信号。它只需要轨迹文本和一个小 draft 模型的一次前向,因此对闭源 agent(已测 Sonnet)同样适用,延迟开销可忽略。在跑重试循环或人工升级策略的团队,这里拿到的是一个便宜且校准过的触发器。
技术细节
方法 小型开源 draft 模型对已生成轨迹单次前向打分(反转推测解码);阶段感知特征分离推理段与动作段;对照可验证目标校准
要求 只需输出 token——无需 logits/权重/激活/重复采样;适用于黑盒/闭源 agent
结果 在 Qwen3-Coder-480B 与 Claude 3.5 Sonnet 上的执行前否决闸门:执行错误率 -6 至 -8 个百分点;token 成本 -14% 至 -19%
标签
uncertaintyspeculative-decodingcoding-agentsfailure-predictionagent-reliability