AMD 发布 Instella-MoE 技术报告（arXiv 2609.00791，9 月 2 日周三 digest）：完全开放的 16B 总参 / 2.8B 激活 MoE，从头在 AMD Instinct MI300X 与 MI325X GPU 上训练。模型结合 Gated Multi-head Latent Attention 与 FarSkip-Collective 连接结构，走多阶段流水线：预训练、中训、长上下文扩展、带反馈数据筛选的 SFT、DPO、以及 Multi-Teacher On-Policy Distillation 的 RL。
AMD 开源 Instella-MoE：完全在 Instinct GPU 上训练的 16B MoE
2026-09-02前沿观察WATCH
AMD 发布 Instella-MoE 技术报告（arXiv 2609.00791，9 月 2 日周三 digest）：完全开放的 16B 总参 / 2.8B 激活 MoE，从头在 AMD Instinct MI300X 与 MI325X GPU 上训练。模型结合 Gated Multi-head Latent Attention 与 FarSkip-Collective 连接结构，走多阶段流水线：预训练、中训、长上下文扩展、带反馈数据筛选的 SFT、DPO、以及 Multi-Teacher On-Policy Distillation 的 RL。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
开源权重前沿目前是中国实验室主导、美国方面以 Nvidia/Poolside 回应的格局；Instella-MoE 加入了第三个方向——在非 NVIDIA 芯片上规模化跑通的全开放权重。16B 不算前沿量级，但对评估 MI300X/MI325X 训练栈的团队是有价值的参照；MLA 类架构选择也说明 AMD 在对齐 DeepSeek 系模型开创的 serving 效率惯例。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| ArXiv | 2609.00791，2026 年 9 月 2 日周三 digest 宣告 |
|---|---|
| 规模 | 16B 总参 / 2.8B 激活 MoE |
| 硬件 | 完全在 AMD Instinct MI300X 与 MI325X 上训练 |
| 架构 | Gated Multi-head Latent Attention（Gated MLA）；FarSkip-Collective 连接结构 |
| 流水线 | 预训练 → 中训 → 长上下文扩展 → SFT（反馈驱动数据筛选）→ DPO → Multi-Teacher On-Policy Distillation 的 RL |
| 开放性 | 完全开放（技术报告 + Hugging Face AMD 组织下的模型家族） |
技术影响 3
工程价值 3
采用信号 2
成熟度 3
验证成本 2
风险 2