论文与仓库公开 dSpark 的训练和评测方法,但 checkpoint 与训练数据尚未发布。
dSpark 学习 token 揭示顺序来加速扩散语言模型
2026-10-27前沿观察WATCH
dSpark 蒸馏 token 解掩码顺序,优先揭示能降低其他位置不确定性的 token,而不是只选当前最有把握的 token。作者报告 LLaDA-8B-Instruct 每次前向计算可确定 10.12 个 token,Dream-7B-Instruct 为 5.12 个,同时保持 benchmark 准确率。训练与评测代码已公开,但模型 checkpoint 和训练数据仍承诺稍后发布,仓库也没有声明许可证。
官方 · 论文Learning When to Commit: Schedule Distillation for Fast Diffusion Language Models官方 · 代码dSpark research repository
可用状态:训练与评测代码公开;checkpoint 与训练数据承诺稍后发布
对你意味着什么
对扩散语言模型 serving 团队来说,只改生成顺序就可能显著改变实际延迟,不必更换底座架构。但 checkpoint、训练数据和许可证信息尚不完整,当前还不适合做受控生产试点。
前沿观察
公开材料与效果验证,分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 方法 | schedule distillation;对失败轨迹加入 KL 约束 |
|---|---|
| 报告并行度 | LLaDA-8B-Instruct 每次前向 10.12 token;Dream-7B-Instruct 为 5.12 |
| 报告实际速度 | A100、batch size 1、GSM8K 上 249 TPS;基础 LLaDA 为 15 TPS |
| 算力 | 训练脚本指定 4 张 A100 |
| 可用性 | 训练与评测代码公开;checkpoint 与训练数据承诺稍后发布 |
| 许可证 | 检查时仓库未声明许可证 |
| 时间依据 | arXiv v1 提交于 2026-10-26T17:35:58Z;仓库 push 于 2026-10-26T17:40:30Z |
技术影响 4
工程价值 4
采用信号 1
成熟度 2
验证成本 4
风险 4