← 事件库 / Infrastructure

Liquid AI 发布视觉语言模型的推测解码 drafter

Liquid AI 为 LFM2.5-VL-3B 发布 2.795 亿参数的纯注意力 drafter。目标模型会验证每个候选 token,因此 greedy 输出不变。在六个 MMSpec 视觉任务上,厂商报告 M5 Max 解码加速 2.30 至 3.13 倍、M3 Ultra 为 1.57 至 2.14 倍、H100 最高 2.66 倍;由于图像编码与 prefill 不会加速,端到端收益更小。Safetensors 与 GGUF 权重已经发布,并接入 llama.cpp、MLX-VLM 与 SGLang。该事件由 overlap 补漏。

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

对已经服务 LFM2.5-VL 的团队来说,这是风险较低的延迟实验,因为目标模型会验证每个输出 token。应按自己的图像尺寸与回答长度测完整请求延迟;短回答或视觉前缀很重时,单看解码加速会高估收益。

证据与关联材料

背景材料 · 历史记录,未重新核验

Liquid AI 为 LFM2.5-VL-3B 发布 2.795 亿参数的纯注意力 drafter。目标模型会验证每个候选 token,因此 greedy 输出不变。在六个 MMSpec 视觉任务上,厂商报告 M5 Max 解码加速 2.30 至 3.13 倍、M3 Ultra 为 1.57 至 2.14 倍、H100 最高 2.66 倍;由于图像编码与 prefill 不会加速,端到端收益更小。Safetensors 与 GGUF 权重已经发布,并接入 llama.cpp、MLX-VLM 与 SGLang。该事件由 overlap 补漏。

技术细节与六维评分
Drafter 2.795 亿参数;为 3B 目标模型的 8.9%;纯注意力
Block Size 8 至 9
解码加速 M5 Max 为 2.30 至 3.13 倍;M3 Ultra 为 1.57 至 2.14 倍;H100 最高 2.66 倍
端到端 M5 Max 最高 2.62 倍;M3 Ultra 1.77 倍;H100 2.27 倍
运行时 llama.cpp、MLX-VLM 与 SGLang
限制 视觉编码与 prefill 不变
技术影响 3
工程价值 4
采用信号 3
成熟度 2
验证成本 3
风险 2