← 事件库 / Open Source

vLLM 0.33 转向 CUDA 13 并加入 EFA 服务

vLLM 0.33 的稳定 CUDA 产物全面转向 CUDA 13,新增面向多节点 KV 传输的 AWS EFA 镜像,并把 ROCm 10 设为默认,同时保留 ROCm 7.2 构建。投机解码、低精度 KV、watchdog 诊断和大规模服务路径继续扩展。该版本也移除 CUDA 12.9 产物和多项旧执行器,上线前必须做兼容性回归。

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

对自托管推理团队来说,0.33 扩大了硬件与服务控制范围,但也抬高了迁移门槛。项目自报的 kernel 提升依赖具体负载,发布说明还保留产物链接核验 TODO,因此要验证镜像、wheel 和真实 trace,不能把峰值吞吐直接套到生产。

证据与关联材料

背景材料 · 历史记录,未重新核验

vLLM 0.30.0 包含 762 个提交,来自 315 位贡献者。常驻的每 GPU 权重缓存让重启后的引擎通过 CUDA IPC 映射已经分片和量化的权重,不必再从磁盘加载。HiSparse 为稀疏 MLA 的 KV 页增加锁页主机内存层;Model Runner V2 扩展了流水线并行下的投机解码,并把一条 H200 启动路径从 28.9 秒压到 8.2 秒。该版本还修复响应放大、稀疏嵌入和媒体输入导致的拒绝服务风险。

后续变化

重要更新 · 2026-10-05

vLLM 0.31 扩展快速重启,并默认收紧多模态请求边界。

重要更新 · 2026-10-18

vLLM 0.32 收紧安全默认值并扩展低精度推理

重要更新 · 2026-11-02

vLLM 0.33 转向 CUDA 13,并加入 EFA 服务与新推理路径

技术细节与六维评分
发布规模 762 个提交、315 位贡献者,其中 104 位首次贡献
快速启动 每 GPU 常驻量化后、TP 分片后的权重缓存;通过 CUDA IPC 映射;支持 FP4 与多节点 TP
HiSparse 为稀疏 MLA 的 KV 页增加锁页主机内存层、逐请求 GPU 热缓存和 Prometheus 指标
Model Runner V2 流水线并行下支持 MTP/EAGLE3/DFlash/DSpark;自适应验证;报告路径中 H200 引擎启动从 28.9 秒降至 8.2 秒
安全 限制校验错误响应与稀疏嵌入大小;限制请求控制的视频采样;校验 cache_salt;日志隐藏凭据
破坏性变更 scale-out endpoint 需 --enable-scale-out;移除 GPTQ g_idx;移除 0.29 废弃项;YaRN 与 Transformers 对齐
发布产物 提供 CUDA 13.0/12.9、ROCm、CPU 与 XPU wheel 和镜像
2026-10-05 更新 v0.31 为 vllm preload 增加 DP 与 MTP 支持,并提供实验性的 CRIU 初始化引擎快照;Model Runner V2、投机解码、大规模调度和 HiSparse 也继续补齐。请求级多模态处理与媒体 I/O 参数现在默认拒绝,除非显式信任;缓存哈希会区分额外 key 的来源并纳入 LoRA 路径。多项 flag 与默认值发生变化。
2026-10-18 更新 v0.32.0:814 个提交、363 位贡献者;默认收紧 CORS;多模态缓存句柄签名;不可信图片只收 raster 格式;限制 JSON Schema 深度;修复三项 GHSA;移除 Python 3.10;Model Runner V2 成为 ROCm 默认;扩展低精度 KV 缓存与最小负载 API worker。短请求吞吐提升 43–85% 为项目自报。
2026-11-02 更新 v0.33.0:927 个提交、389 位贡献者;稳定产物改用 CUDA 13.0,ROCm 10.0 成为默认并保留 7.2,新增把 EFA 版 Mooncake 打包进来的 AWS EFA 镜像,用于多节点 KV 传输。加入 XPress 与 FLy 投机解码、/v1/decisions、嵌入 late chunking、TP worker 并发启动和卡死进程 watchdog。移除 CUDA 12.9 产物、Medusa/MLP speculator 与旧 Ray executor;暂停生成时改回 HTTP 503。性能数字均为项目自报,发布说明仍保留产物链接核验 TODO。
技术影响 4
工程价值 5
采用信号 5
成熟度 4
验证成本 3
风险 3