https://derekwang2002.github.io/ai-intelligence/projects/dust/ AI 模型、Agent、工程与基础设施的重要变化，附一手来源与建议等级。 zh-CN Mon, 02 Nov 2026 16:56:00 GMT https://derekwang2002.github.io/ai-intelligence/events/ev-20261005-09/ ev-20261005-09-published Tue, 06 Oct 2026 16:01:24 GMT 新事件 TRIAL <p>Dust 通过逐 token 扰动激活值，只用前向计算来估计 Transformer 梯度。作者在小规模预训练实验中报告了可与反向传播竞争的结果，并称其远比基于权重扰动的演化策略高效。MIT 许可代码可复现最高 37.7M 参数的实验设置，但作者明确表示，该方法还需要几个数量级的效率提升才可能实用。</p><p><strong>为什么读：</strong>Dust 给出了不用反向传播训练 Transformer 的公开最小实现。</p><p>建议等级：TRIAL</p><p>来源：<a href="https://qlabs.sh/research/dust/">Dust: Pretraining Transformers Without Backpropagation</a> · <a href="https://github.com/qlabs-eng/dust">qlabs-eng/dust</a></p>