CRISP（arXiv 2609.01925，9 月 3 日周四 digest；Adobe Research）是面向长上下文 prefill 的输入自适应稀疏注意力方法。它把基于 Jensen-Shannon 散度的头路由替换为结构化代理 C_struct（度量 Vertical-Slash 兼容位置的质量），去掉池化矩阵乘与 KL 散度开销；并用带 sink 感知的阈值替换累积覆盖阈值（理论上只累积 O(n) 背景噪声）。在两个模型家族的 InfiniteBench、RULER、LongBench 上，它是整体最强的稀疏方法：在检索密集型基准上追平或超过全注意力，恢复率较基线最高 +28.0 个百分点；在 512k token 处注意力加速最高 5.30 倍。已被 EMNLP 2026 主会接收。
CRISP：输入自适应稀疏注意力让长上下文 prefill 提速 5.3 倍
2026-09-04前沿观察TRIAL
CRISP（arXiv 2609.01925，9 月 3 日周四 digest；Adobe Research）是面向长上下文 prefill 的输入自适应稀疏注意力方法。它把基于 Jensen-Shannon 散度的头路由替换为结构化代理 C_struct（度量 Vertical-Slash 兼容位置的质量），去掉池化矩阵乘与 KL 散度开销；并用带 sink 感知的阈值替换累积覆盖阈值（理论上只累积 O(n) 背景噪声）。在两个模型家族的 InfiniteBench、RULER、LongBench 上，它是整体最强的稀疏方法：在检索密集型基准上追平或超过全注意力，恢复率较基线最高 +28.0 个百分点；在 512k token 处注意力加速最高 5.30 倍。已被 EMNLP 2026 主会接收。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
prefill 的平方复杂度是长上下文 serving 的墙，而 RAG 类负载恰是 CRISP 声称对全注意力无质量损失的检索密集型场景。对自托管长上下文模型的团队，这是请求最贵阶段的即插即用加速候选。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| ArXiv | 2609.01925，2026 年 9 月 3 日周四 digest 宣告 |
|---|---|
| 机构 | Adobe Research（一作 Huu Huy Nguyen，与 Franck Dernoncourt、Ryan Rossi 合作） |
| 机制 | C_struct 结构化代理替换基于 JSD 的头路由（去掉池化矩阵乘 + KL 开销）；带 sink 感知阈值替换累积覆盖阈值（背景噪声只累积 O(n)） |
| 结果 | 两个模型家族上 InfiniteBench / RULER / LongBench 整体最强稀疏方法；检索密集基准追平或超过全注意力；恢复率最高 +28.0 个百分点；512k token 处注意力加速最高 5.30 倍 |
| 发表 | EMNLP 2026 主会 |
技术影响 3
工程价值 4
采用信号 2
成熟度 2
验证成本 3
风险 1