摘要
NCP-ArchPreview（arXiv 2609.10715，9 月 11 日周五 digest）是把自回归预训练推向 next-token 之外的潜空间语言模型：在 NTP 之外学习 Next Concept Prediction——从自身隐状态构建乘积量化概念词表、预测跨多个 token 的离散概念，专门 Concept Module 的预测概念回灌引导 token 级生成（NTP 与 NCP 端到端联合训练）。8.9B 参数、Dolma-3 的 5.73T token。
为什么重要
对「超越 next-token」问题的一次认真小规模试探：若概念级预测随规模扩展有效，它指向在更大单元上推理的训练目标——对长上下文效率与推测解码都有直接含义。8.9B 只是研究预览；跟踪概念词表能否规模化迁移。
技术细节
| ArXiv | 2609.10715，2026 年 9 月 11 日周五 digest（18:46Z 检索时 91/91 完整；早到——cross-list 可能后到） |
|---|---|
| 架构 | NTP + NCP 联合；隐状态构建乘积量化概念词表；专门 Concept Module |
| 规模 | 8.9B 参数；Dolma-3 的 5.73T token |
标签
architecturelatent-spacenext-concept-predictionpretraining-objectives