Dust TRIAL
Dust 公开了不用反向传播训练 Transformer 的最小实现，但离生产效率仍差几个数量级。
建议动作一天内用公开单 GPU 配置跑两步 smoke test，再以同一 1M-token 数据比较 Dust 与 SGD 的损失、显存和前向计算量。
Dust 公开了不用反向传播训练 Transformer 的最小实现，但离生产效率仍差几个数量级。
建议动作一天内用公开单 GPU 配置跑两步 smoke test，再以同一 1M-token 数据比较 Dust 与 SGD 的损失、显存和前向计算量。