NaiveAI 已公开 MIT 权重、推理代码、架构和训练说明。
NaiveAI 开源原生 1M 上下文的 309B 稀疏模型
2026-09-27前沿观察TRIAL
NaiveAI 以 MIT 许可发布 Naive-N0.5-Flash：总参数 309B、激活 15.5B，原生上下文 1M token。模型用滑动窗口与稀疏注意力组合替代全注意力层，并公开权重和推理代码。部署要求支持 FP8 的 NVIDIA 硬件，仅权重约占 315 GB；基准仍由作者报告。
可用状态：权重与推理代码；无托管推理入口
对你意味着什么
对长上下文 coding 和研究系统来说，这个架构提供了完全不用全注意力层的稀疏注意力实测对象。硬件门槛高、证据主要来自厂商，因此只适合有对应基础设施的定向试验。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 架构 | 309B MoE、激活 15.5B；39 层 SWA + 9 层 DSA |
|---|---|
| 上下文 | 原生 1M token |
| 训练 | 架构转换后训练 3.25T token |
| 许可证 | MIT |
| 可用性 | 权重与推理代码；无托管推理入口 |
| 硬件 | 支持 FP8 的 NVIDIA GPU；权重约 315 GB |
| 采用 | 2026-10-03 检查时月下载 1,497、likes 145 |
技术影响 4
工程价值 3
采用信号 3
成熟度 2
验证成本 5
风险 3