《Random Attention》（arXiv 2609.03430，9 月 4 日周五 digest；UIUC 王恒、Jiawei Han 与 Salesforce AI Research）证明：在推理过程中，KV 缓存逐出的「选择信号」几乎没有贡献——保留提示、在每个注意力头内均匀随机逐出、完全不打分，就能在四个模型、六个推理任务上追平此前最强的逐出策略，在 vLLM 中部署时吞吐还高 32-43%。解释是：脆弱的部分是提示；推理轨迹靠冗余自我保护（文本重述 + 每个头各持一份副本），随机抽取总能留下足够副本。同 digest 的独立收敛证据：InertiaKV（2609.03515，EMNLP 2026 主会）表明激进压缩下，时间聚合使「近似保序」的打分器改动在逐出集合层面不可区分，并提出 Score-Free 解码（对完整上下文只打一次分并冻结排序：平均质量变化 +0.07，后续不再打分）。
随机 KV 逐出追平学习型策略，吞吐还高 32-43%
2026-09-05前沿观察TRIAL
《Random Attention》（arXiv 2609.03430，9 月 4 日周五 digest；UIUC 王恒、Jiawei Han 与 Salesforce AI Research）证明：在推理过程中，KV 缓存逐出的「选择信号」几乎没有贡献——保留提示、在每个注意力头内均匀随机逐出、完全不打分，就能在四个模型、六个推理任务上追平此前最强的逐出策略，在 vLLM 中部署时吞吐还高 32-43%。解释是：脆弱的部分是提示；推理轨迹靠冗余自我保护（文本重述 + 每个头各持一份副本），随机抽取总能留下足够副本。同 digest 的独立收敛证据：InertiaKV（2609.03515，EMNLP 2026 主会）表明激进压缩下，时间聚合使「近似保序」的打分器改动在逐出集合层面不可区分，并提出 Score-Free 解码（对完整上下文只打一次分并冻结排序：平均质量变化 +0.07，后续不再打分）。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
KV 压缩研究有一大块都在做打分函数，而现在两个独立团队都报告：在激进预算下，打分的作用远小于假设——推理轨迹自带冗余，提示没有。实践结论：保住提示、其余随机化；除非能打赢这个便宜得多的基线，否则对打分类方法的增益要保持怀疑。vLLM 可部署的实现已公开。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| ArXiv | 2609.03430，2026 年 9 月 4 日周五 digest 宣告 |
|---|---|
| 主张 | 保提示、每头内均匀随机逐出、零打分，在 4 模型 × 6 推理任务上追平此前最强逐出策略；vLLM 部署吞吐 +32-43% |
| 解释 | 提示是脆弱成分；推理轨迹靠冗余自我保护（重述 + 每头副本） |
| 收敛证据 | InertiaKV（2609.03515，EMNLP 2026 主会）：激进压缩下时间聚合使近似保序的打分器改动在逐出集合层面不可区分；Score-Free 解码只打一次分并冻结排序（平均质量 +0.07，免去后续打分） |
| 代码 | github.com/SalesforceAIResearch/Random-Attention |
技术影响 4
工程价值 4
采用信号 2
成熟度 2
验证成本 2
风险 1