← 事件库 / Research

DoubtLess 用对比解码减少推理 token

DoubtLess 是一种免训练的解码方法:让小模型分别按简短和详细要求读取同一段思维链,再用两次输出的 logit 差引导大模型。论文称 Qwen3-32B 在七项 benchmark 上少用 31% 推理 token,汇总准确率不降;coding 自调试任务少用 20% thinking token。代码已公开,但结果来自作者,参考配置需要一张 80 GB GPU。

对你意味着什么

对需要控制 agent 推理成本的团队来说,如果节省能迁移到真实任务,就可能不训练主模型也减少费用。但汇总结果可能掩盖单项退步,试验必须同时看任务成功率和 token。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

技术细节与六维评分
方法 小模型分别按简短与详细要求读取思维链,用两次输出的 logit 差做对比解码
论文范围 七项推理 benchmark 与 coding 自调试实验
作者结果 Qwen3-32B 推理 token 减少 31%,汇总准确率不降;coding 自调试 thinking token 减少 20%
公开材料 Apache-2.0 公开代码
参考配置 Linux、NVIDIA GPU、vLLM 0.29;Qwen3-32B 加 Qwen3-0.6B 需一张 80 GB GPU
时间依据 arXiv 首版时间戳 2026-10-13T17:59:32Z
技术影响 4
工程价值 4
采用信号 1
成熟度 2
验证成本 3
风险 2