SAS 不再逐层蒸馏 dense attention 分布，而是把 selector 的连续分数注入注意力 logits，让语言建模损失直接更新 selector。团队对 OLMo3-7B 继续训练约 500 亿 token，平均下游分数为 43.28，接近 dense base 的 43.88，并高于蒸馏基线的 41.68。LongBench 平均分 30.0，与对比中最强的稀疏方法并列，也高于 dense base 的 29.0。代码已公开，但扫描截止时仓库没有声明许可证。
SAS 用语言建模损失直接训练稀疏注意力 selector
2026-09-14前沿观察WATCH
SAS 不再逐层蒸馏 dense attention 分布，而是把 selector 的连续分数注入注意力 logits，让语言建模损失直接更新 selector。团队对 OLMo3-7B 继续训练约 500 亿 token，平均下游分数为 43.28，接近 dense base 的 43.88，并高于蒸馏基线的 41.68。LongBench 平均分 30.0，与对比中最强的稀疏方法并列，也高于 dense base 的 29.0。代码已公开，但扫描截止时仓库没有声明许可证。
可用状态：公开 GitHub 仓库；48 stars；截止时未检测到许可证
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
对把 dense checkpoint 改造成稀疏注意力的模型团队，直接按最终预测质量训练 selector，比模仿 dense attention 权重更贴近目标。继续训练成本不低，而且不同任务的收益不一致，采用前应在目标架构上复现。仓库缺少许可证，是当前落地阻碍。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 方法 | 训练时把连续 selector 分数注入 attention logits，由语言建模损失端到端反向传播 |
|---|---|
| 底座 | OLMo3-7B |
| 继续预训练 | 13,000 步，global batch 512，约 500 亿 token，最大序列长度 8,192 |
| 下游平均分 | SAS 43.28；dense base 43.88；滑动窗口基线 43.24；HiLS-Attn-RoPE 41.68 |
| LongBench 平均分 | SAS 30.0；dense base 29.0；滑动窗口基线 28.0；HiLS-Attn-RoPE 30.0 |
| 可用性 | 公开 GitHub 仓库；48 stars；截止时未检测到许可证 |
技术影响 4
工程价值 3
采用信号 1
成熟度 1
验证成本 5
风险 4