Dust 不用反向传播训练小型 Transformer
Dust 不用反向传播训练小型 Transformer
2026-10-06前沿观察TRIAL
Dust 通过逐 token 扰动激活值，只用前向计算来估计 Transformer 梯度。作者在小规模预训练实验中报告了可与反向传播竞争的结果，并称其远比基于权重扰动的演化策略高效。MIT 许可代码可复现最高 37.7M 参数的实验设置，但作者明确表示，该方法还需要几个数量级的效率提升才可能实用。
对你意味着什么
对训练研究团队来说，Dust 提供了一条研究非反向传播 credit assignment 和含不可微组件架构的具体路径。它目前是研究实验，不是生产预训练的替代方案。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 方法 | 每个 token 独立扰动激活值形成虚拟种群，用损失变化加权噪声来估计各层误差 |
|---|---|
| 报告规模 | 实验覆盖最高 243M 参数和 1B-token checkpoint；公开最小实现为 37.7M 参数 |
| 公开试验 | 单 GPU 可跑 1M-token、population 256；论文配置最高使用八张 GPU |
| 限制 | 作者称若要实用地替代反向传播，还需几个数量级的效率提升 |
| 许可 | MIT |
技术影响 4
工程价值 2
采用信号 2
成熟度 2
验证成本 3
风险 2