MATRIX · vLLM

vLLM 0.33 转向 CUDA 13，并加入 EFA 服务与新推理路径

Mon, 02 Nov 2026 16:56:00 GMT

vLLM 0.33 转向 CUDA 13，并加入 EFA 服务与新推理路径

原条目：vLLM 0.33 转向 CUDA 13 并加入 EFA 服务

为什么读：CUDA 基线与 serving 行为同时变化，直接影响自托管升级和回滚。

建议等级：ADOPT

来源：vLLM 0.33.0 release

vLLM 0.32 收紧安全默认值并扩展低精度推理

Sun, 18 Oct 2026 15:58:14 GMT

vLLM 0.32 收紧安全默认值并扩展低精度推理

原条目：vLLM 0.33 转向 CUDA 13 并加入 EFA 服务

为什么读：安全默认值、Python 版本与 streaming contract 同时变化，生产 serving 需要有计划地升级。

建议等级：ADOPT

来源：vLLM 0.32.0 release

vLLM 0.31 扩展快速重启，并默认收紧多模态请求边界

Mon, 05 Oct 2026 16:01:12 GMT

vLLM 0.31 扩展快速重启，并默认收紧多模态请求边界。

原条目：vLLM 0.33 转向 CUDA 13 并加入 EFA 服务

为什么读：vLLM 0.31 同时推进快速恢复与更安全的多模态请求边界。

建议等级：ADOPT

来源：vLLM 0.31.0

vLLM 0.33 转向 CUDA 13 并加入 EFA 服务

Tue, 22 Sep 2026 16:02:37 GMT

vLLM 0.33 的稳定 CUDA 产物全面转向 CUDA 13，新增面向多节点 KV 传输的 AWS EFA 镜像，并把 ROCm 10 设为默认，同时保留 ROCm 7.2 构建。投机解码、低精度 KV、watchdog 诊断和大规模服务路径继续扩展。该版本也移除 CUDA 12.9 产物和多项旧执行器，上线前必须做兼容性回归。

建议等级：ADOPT

来源：vllm-project/vllm · releases / tag / v0.30.0

vLLM 0.28.0 发布：Kimi-K3 与 DeepSeek V4 服务优化成主线

Sun, 30 Aug 2026 00:00:20 GMT

vLLM 0.28.0（584 个提交、270 位贡献者、其中 76 位新加入）的主线是 Kimi-K3 性能攻坚：Decode Context Parallel 支持、融合 FlashKDA decode/prefill kernel、合并 all-gather（kernel 级提速 1.5-3 倍）、自适应投机 token 预算（DSpark 首 token 延迟改善约 60%）、可选共享专家分片（每卡省约 17 GiB 显存）。DeepSeek V4 侧稀疏 MLA 在纯 decode、MTP 与 DSpark 投机解码上全链路打通，另有 AMD Quark NVFP4 与 ROCm 支持。其余亮点：DFlash2 投机解码带候选选择器、Model Runner V2 成熟化（E/P/D 分离部署、权重 offload）、分层 KV cache offload（含磁盘）、Rust 前端 + gRPC（protobuf schema 上 Buf）、新默认值（max_num_batched_tokens 8192->16384、Mamba 默认开前缀缓存）。破坏性变更：bitsandbytes 迁出为外部插件、Transformers 升到 5.15.0、移除废弃 API。

建议等级：ADOPT

来源：vllm-project/vllm · releases / tag / v0.28.0