https://derekwang2002.github.io/ai-intelligence/projects/sglang/ AI 模型、Agent、工程与基础设施的重要变化，附一手来源与建议等级。 zh-CN Mon, 02 Nov 2026 16:56:00 GMT https://derekwang2002.github.io/ai-intelligence/events/ev-20260918-02/ ev-20260918-02-sglang-0-5-22 Mon, 19 Oct 2026 16:04:44 GMT 重要更新 TRIAL <p>0.5.22 扩展 serving 性能路径并修复循环状态正确性问题</p><p>原条目：SGLang 0.5.22 加速模型加载并修复循环状态错误</p><p><strong>为什么读：</strong>特定功能组合可能静默恢复错误状态，生产升级前必须先做正确性回归。</p><p>建议等级：TRIAL</p><p>来源：<a href="https://github.com/sgl-project/sglang/releases/tag/v0.5.22">SGLang 0.5.22 release notes</a></p> https://derekwang2002.github.io/ai-intelligence/events/ev-20260918-02/ ev-20260918-02-sglang-0-5-21 Fri, 02 Oct 2026 16:00:56 GMT 重要更新 TRIAL <p>0.5.21 增加运行时角色切换、默认 Rust 缓存核心与新的决策 API。</p><p>原条目：SGLang 0.5.22 加速模型加载并修复循环状态错误</p><p><strong>为什么读：</strong>SGLang 0.5.21 支持运行时切换 prefill/decode 角色。</p><p>建议等级：TRIAL</p><p>来源：<a href="https://github.com/sgl-project/sglang/releases/tag/v0.5.21">SGLang 0.5.21 release</a></p> https://derekwang2002.github.io/ai-intelligence/events/ev-20260918-02/ ev-20260918-02-published Fri, 18 Sep 2026 23:21:35 GMT 新事件 TRIAL <p>SGLang 0.5.22 加入项目自报快 10 倍的 InstantTensor loader，扩展模型与硬件支持，并补充推测解码和 prefill/decode 分离路径。它还修复一项正确性问题：混合线性模型同时使用推测解码与结构化输出时，可能从错误的 Mamba 状态继续生成。新版要求 Python 3.11；性能提升均为项目自报。</p><p>建议等级：TRIAL</p><p>来源：<a href="https://github.com/sgl-project/sglang/releases/tag/v0.5.20">sgl-project/sglang · releases / tag / v0.5.20</a></p> https://derekwang2002.github.io/ai-intelligence/events/ev-20260905-02/ ev-20260905-02-published Sat, 05 Sep 2026 00:00:21 GMT 新事件 TRIAL <p>《Margins, Not Windows》（arXiv 2609.02897，9 月 4 日周五 digest）提出 AdaptiveSpec：免训练的有损推测解码，在解码时协同调节两个旋钮——逐步的边际验证规则（目标与草稿 top-1 概率之比超过阈值时，提升不匹配的草稿 token）与草稿树形态（深度 / 宽度 / 节点数，由草稿 top-1 置信度加滚动接受历史调整）。两个信号都是解码过程本来就有的，无需任何训练。已在 SGLang 生产引擎中实现：在三个目标模型（DeepSeek-R1-Distill-Llama-8B、Llama-3.1-8B-Instruct、Qwen3-8B）上，吞吐较 SGLang 上的 EAGLE-3 最高提升 56%，在 GSM8K、MATH-500、HumanEval 上恢复无损失准确率的 93-100%。</p><p>建议等级：TRIAL</p><p>来源：<a href="https://arxiv.org/abs/2609.02897">arXiv 2609.02897</a></p>