← 事件库 / Research

dSpark 学习 token 揭示顺序来加速扩散语言模型

dSpark 蒸馏 token 解掩码顺序,优先揭示能降低其他位置不确定性的 token,而不是只选当前最有把握的 token。作者报告 LLaDA-8B-Instruct 每次前向计算可确定 10.12 个 token,Dream-7B-Instruct 为 5.12 个,同时保持 benchmark 准确率。训练与评测代码已公开,但模型 checkpoint 和训练数据仍承诺稍后发布,仓库也没有声明许可证。

可用状态:训练与评测代码公开;checkpoint 与训练数据承诺稍后发布

对你意味着什么

对扩散语言模型 serving 团队来说,只改生成顺序就可能显著改变实际延迟,不必更换底座架构。但 checkpoint、训练数据和许可证信息尚不完整,当前还不适合做受控生产试点。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

技术细节与六维评分
方法 schedule distillation;对失败轨迹加入 KL 约束
报告并行度 LLaDA-8B-Instruct 每次前向 10.12 token;Dream-7B-Instruct 为 5.12
报告实际速度 A100、batch size 1、GSM8K 上 249 TPS;基础 LLaDA 为 15 TPS
算力 训练脚本指定 4 张 A100
可用性 训练与评测代码公开;checkpoint 与训练数据承诺稍后发布
许可证 检查时仓库未声明许可证
时间依据 arXiv v1 提交于 2026-10-26T17:35:58Z;仓库 push 于 2026-10-26T17:40:30Z
技术影响 4
工程价值 4
采用信号 1
成熟度 2
验证成本 4
风险 4