← 事件库 / Research

TokenCast 边运行边预测 agent token

TokenCast 把 agent 执行拆成可组合片段,边运行边预测剩余 token 用量。每个片段既记录自身消耗,也记录会被后续调用反复读入的上下文增长。在 4 个任务套件和 6 个 agent 模型上,论文报告相对最强对比方法的平均绝对误差降低 14.5%。离线预算控制回放在相同轨迹完成率下少用 21.3% token,每个 SWE-bench Verified 运行累计预测时间约 32.8 毫秒。相关仓库只写着代码即将发布,目前没有实现或许可证。

对你意味着什么

对需要控制单任务 agent 预算的团队来说,运行途中不断更新的预测,比开跑前设一个固定上限更实用。当前先 WATCH,等代码发布后再用 shadow mode 对照账单复现;节省结果来自离线回放,还不应直接控制线上任务终止。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

支持证据

TokenCast 把 agent 执行拆成可组合片段,边运行边预测剩余 token 用量。每个片段既记录自身消耗,也记录会被后续调用反复读入的上下文增长。在 4 个任务套件和 6 个 agent 模型上,论文报告相对最强对比方法的平均绝对误差降低 14.5%。离线预算控制回放在相同轨迹完成率下少用 21.3% token,每个 SWE-bench Verified 运行累计预测时间约 32.8 毫秒。相关仓库只写着代码即将发布,目前没有实现或许可证。

技术细节与六维评分
方法 可组合的片段成本与上下文增长表示
评测 4 个任务套件、6 个 agent 模型、96 种组合
误差降幅 平均绝对误差平均降低 14.5%
离线预算结果 相同轨迹完成率下少用 21.3% token
开销 每个 SWE-bench Verified 运行平均累计预测 32.8 毫秒
公开产物 仓库只是占位;复核时实现与许可证均不可用
技术影响 3
工程价值 4
采用信号 1
成熟度 1
验证成本 4
风险 2