Qwen 团队发布 Qwen3.8-Flash-Next 的设计与消融研究（arXiv 2608.30320，9 月 1 日周二 digest）：125B 参数、6B 激活的稀疏 MoE，另有 51B n-gram 嵌入表放在加速器之外。在 14 项预训练基准上，它有 8 项超过 397B-A17B 前代，其余最多落后 2.6 分——而激活参数只有三分之一、训练 token 只有三分之一、训练 FLOPs 约为九分之一。token 混合层在 Gated DeltaNet 与全局注意力间交替（每四层一个全注意力层）；继续预训练阶段，这些全注意力层替换为 Qwen Sparse Attention，用压缩轻量索引器按微块粒度对上下文打分。
Qwen 团队公开 Qwen3.8-Flash-Next 架构与约 1/9 训练 FLOPs 的账
2026-09-01前沿观察TRIAL
Qwen 团队发布 Qwen3.8-Flash-Next 的设计与消融研究（arXiv 2608.30320，9 月 1 日周二 digest）：125B 参数、6B 激活的稀疏 MoE，另有 51B n-gram 嵌入表放在加速器之外。在 14 项预训练基准上，它有 8 项超过 397B-A17B 前代，其余最多落后 2.6 分——而激活参数只有三分之一、训练 token 只有三分之一、训练 FLOPs 约为九分之一。token 混合层在 Gated DeltaNet 与全局注意力间交替（每四层一个全注意力层）；继续预训练阶段，这些全注意力层替换为 Qwen Sparse Attention，用压缩轻量索引器按微块粒度对上下文打分。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
这是 8/26 落地的开源权重（ev-20260826-04）的架构论文，把混合线性注意力这条路线变成了有消融支撑的公开数字。「约 1/9 FLOPs 达到相近质量」是迄今最强的公开证据，说明混合注意力 + n-gram 嵌入这个配方是效率前沿而非实验室技巧——对选底座做从头训练或继续预训练的团队直接相关，也解释了为什么 serving 栈正在竞相支持这些层。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| ArXiv | 2608.30320，2026 年 9 月 1 日周二 digest 宣告 |
|---|---|
| 规模 | 125B 总参 / 6B 激活 MoE + 51B n-gram 嵌入表（置于加速器外）；合计约 180B |
| 结果 | 对比 397B-A17B 前代，14 项预训练基准：8 项领先，其余最多落后 2.6 分；激活参数 1/3、训练 token 1/3、训练 FLOPs 约 1/9 |
| Token 混合 | 分层混合：Gated DeltaNet 与全局注意力交替，每四层一个全注意力层；继续预训练时全注意力层替换为 Qwen Sparse Attention（压缩轻量索引器按微块粒度打分） |
| 上下文 | 原生 262k（HF 模型卡），多模态 |
| 许可证 | 开源权重采用自定义 qwen-community-1.0（以 HF 仓库为准） |
技术影响 4
工程价值 4
采用信号 3
成熟度 3
验证成本 2
风险 2