vLLM 0.28.0 发布：Kimi-K3 与 DeepSeek V4 服务优化成主线

Sun, 30 Aug 2026 00:00:20 GMT

vLLM 0.28.0（584 个提交、270 位贡献者、其中 76 位新加入）的主线是 Kimi-K3 性能攻坚：Decode Context Parallel 支持、融合 FlashKDA decode/prefill kernel、合并 all-gather（kernel 级提速 1.5-3 倍）、自适应投机 token 预算（DSpark 首 token 延迟改善约 60%）、可选共享专家分片（每卡省约 17 GiB 显存）。DeepSeek V4 侧稀疏 MLA 在纯 decode、MTP 与 DSpark 投机解码上全链路打通，另有 AMD Quark NVFP4 与 ROCm 支持。其余亮点：DFlash2 投机解码带候选选择器、Model Runner V2 成熟化（E/P/D 分离部署、权重 offload）、分层 KV cache offload（含磁盘）、Rust 前端 + gRPC（protobuf schema 上 Buf）、新默认值（max_num_batched_tokens 8192->16384、Mamba 默认开前缀缓存）。破坏性变更：bitsandbytes 迁出为外部插件、Transformers 升到 5.15.0、移除废弃 API。

建议等级：ADOPT

来源：vllm-project/vllm · releases / tag / v0.28.0

MATRIX · Kimi

vLLM 0.28.0 发布：Kimi-K3 与 DeepSeek V4 服务优化成主线