SQD 不再把 decode 当作一个整体，也不只按 attention 与 FFN 拆分，而是按二次与子二次注意力阶段分配硬件。在调整后的 8×B200 代理系统上，GLM-5.2、Nemotron 3 Ultra 与 Gemma 4 31B 相对最强纯 GPU 基线的每瓦 token 提升 31–56%。经 B200 结果校准的 Rubin + LPX 分析模型预计可把可达延迟收紧 1.2–1.5 倍，并把 attention-FFN disaggregation 的吞吐最多提高 3.6 倍。代理系统修改了 decode 设备特性，未来硬件的大部分结果仍是模型推演，不是生产实测。
SQD 按子二次注意力阶段拆分 decode
2026-09-14前沿观察WATCH
SQD 不再把 decode 当作一个整体，也不只按 attention 与 FFN 拆分，而是按二次与子二次注意力阶段分配硬件。在调整后的 8×B200 代理系统上，GLM-5.2、Nemotron 3 Ultra 与 Gemma 4 31B 相对最强纯 GPU 基线的每瓦 token 提升 31–56%。经 B200 结果校准的 Rubin + LPX 分析模型预计可把可达延迟收紧 1.2–1.5 倍，并把 attention-FFN disaggregation 的吞吐最多提高 3.6 倍。代理系统修改了 decode 设备特性，未来硬件的大部分结果仍是模型推演，不是生产实测。
可用状态：仅论文与方法；未链接实现仓库
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
对规划 GPU 与 decode accelerator 混合集群的推理架构团队，混合与稀疏注意力会改变正确的拆分边界。把固定状态的注意力阶段和 FFN 一起迁移，有机会降低能耗与互连压力。这篇论文更像架构指引，不是可部署软件；容量规划应等待真实 Rubin/LPX 实现与端到端验证。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 模型 | GLM-5.2 稀疏注意力；Nemotron 3 Ultra 线性/循环注意力；Gemma 4 31B 滑动窗口注意力 |
|---|---|
| 代理系统 | 调整后的 8×B200，修改 decode 设备带宽、容量与功耗假设 |
| 实测能效 | 相对最强纯 GPU 基线，平均每瓦 token +31–56%；1M context 下 +53–71% |
| 未来系统推演 | Rubin + LPX；可达延迟收紧 1.2–1.5 倍；相对 attention-FFN disaggregation 吞吐最高 3.6 倍 |
| 实验成本 | 579 次运行共 4,058 B200 GPU-hours；其中 358 小时进入论文报告结果 |
| 可用性 | 仅论文与方法；未链接实现仓库 |
技术影响 4
工程价值 4
采用信号 1
成熟度 1
验证成本 5
风险 3