← 事件库 / AI Engineering

SLOWeave 按解码截止时间自适应切分 prefill 块

《Deadline-Aware Adaptive Prefill Chunking》(arXiv 2609.07883,9 月 9 日周三 digest)提出 SLOWeave:在线调度器选择预测能在最早活跃解码截止前完成的最大 prefill 块,取代固定块大小(启动开销与延迟尖峰的两难)。无需按负载调参,单调迭代成本模型上的对数时间搜索。作者证明:纯解码迭代可行且成本预测准确时,SLOWeave 在所有不违约选择中最大化即时 prefill 进度。

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

分块 prefill 是 vLLM/SGLang 级引擎的标准做法,但块大小是手工调的常数。这项工作把它换成可证不伤解码 SLO 的截止时间驱动在线决策——serving 团队一个下午就能 A/B 完的升级。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

背景材料 · 历史记录,未重新核验

《Deadline-Aware Adaptive Prefill Chunking》(arXiv 2609.07883,9 月 9 日周三 digest)提出 SLOWeave:在线调度器选择预测能在最早活跃解码截止前完成的最大 prefill 块,取代固定块大小(启动开销与延迟尖峰的两难)。无需按负载调参,单调迭代成本模型上的对数时间搜索。作者证明:纯解码迭代可行且成本预测准确时,SLOWeave 在所有不违约选择中最大化即时 prefill 进度。

技术细节与六维评分
ArXiv 2609.07883,2026 年 9 月 9 日周三 digest
方法 不违反截止时间的最大 prefill 块;单调成本模型上的对数时间搜索;无需负载调参
保证 纯解码迭代可行且预测准确时,可证在不违约选择中最大化即时 prefill 进度
技术影响 3
工程价值 4
采用信号 2
成熟度 2
验证成本 2
风险 1