《Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models》（arX 2609.04575，9 月 7 日周一 digest）利用了细粒度 MoE 路由的一个微妙性质：路由概率重归一化会把专家输出增益隐式校准到训练时的 top-k，因此推理时直接减小 k 会同时改变哪些专家被激活和它们的强度。修复只需一个整数：激活 top k1 个专家，但按 top k2 个专家的概率质量归一化——零参数、零训练、无可测开销。在 Qwen3.6-35B-A3B 上，8 减到 4 个专家在标准重归一化下损失 4.65 个 MMLU 点，k2=16 时只损失 0.35 点，同时专家路由算力减半；结果在 11 倍大的 Qwen3.5-397B-A17B 上复现（10 减到 5，配好参照集损失 0.55 点）。完全去掉重归一化是灾难性的——关键是保留合适的参照质量。困惑度与下游准确率偏好的 k2 不同，选择时要用任务指标。
一个整数就能把 MoE 激活专家数减半，质量几乎无损
2026-09-08前沿观察TRIAL
《Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models》（arX 2609.04575，9 月 7 日周一 digest）利用了细粒度 MoE 路由的一个微妙性质：路由概率重归一化会把专家输出增益隐式校准到训练时的 top-k，因此推理时直接减小 k 会同时改变哪些专家被激活和它们的强度。修复只需一个整数：激活 top k1 个专家，但按 top k2 个专家的概率质量归一化——零参数、零训练、无可测开销。在 Qwen3.6-35B-A3B 上，8 减到 4 个专家在标准重归一化下损失 4.65 个 MMLU 点，k2=16 时只损失 0.35 点，同时专家路由算力减半；结果在 11 倍大的 Qwen3.5-397B-A17B 上复现（10 减到 5，配好参照集损失 0.55 点）。完全去掉重归一化是灾难性的——关键是保留合适的参照质量。困惑度与下游准确率偏好的 k2 不同，选择时要用任务指标。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
对任何在跑细粒度 MoE 模型 serving 的团队，这是一行改动换来约 2 倍专家算力削减，且在 11 倍模型尺寸跨度上得到验证——读完当天下午就能测完的那种结果。注意事项：困惑度不是合适的选型指标，要在下游任务上验证；且这是对已训练模型的推理期专家跳过，不是训练期稀疏化。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 方法 | 激活 top k1 个专家，按 top k2（k2 > k1）的概率质量归一化；一个整数，零参数/训练/开销 |
|---|---|
| 结果 | Qwen3.6-35B-A3B 8->4：标准重归一化损失 4.65 MMLU 点 vs k2=16 损失 0.35 点，专家路由算力减半；Qwen3.5-397B-A17B 复现（10->5，损失 0.55）；完全去掉重归一化是灾难 |
| 注意 | 困惑度与下游准确率偏好不同 k2——按任务指标选型 |
技术影响 3
工程价值 5
采用信号 3
成熟度 3
验证成本 2
风险 2