《What Attention Recalls and Recurrence Controls in Hybrid Language Models》（arXiv 2609.04434，9 月 7 日周一 digest）在注意力+递归混合模型上引入两个缓存层干预：split-prefill（prefill 后只保留 KV 缓存或只保留递归状态再生成）和 state-swap（单次前向中把一个上下文的 KV 缓存与另一个上下文的递归状态配对）。在 Qwen3.5 和 Falcon-H1 上两个通道按功能尖锐分化：精确检索只能经注意力存活（全精度准确率的 64-98%），经递归完全归零；而输出语言与人设正好相反（经递归以 70-80% 和 3-5 倍存活，仅 KV 时语言准确率掉到约 1%）。state-swap 给出因果确认：答案的取值来自 KV 侧，答案的语言来自递归侧。作者总结：注意力提供「说过什么」的查表；递归状态塑造「接下来说成什么样」。
因果实验拆分混合模型：注意力负责回忆，递归负责控制
2026-09-08前沿观察TRIAL
《What Attention Recalls and Recurrence Controls in Hybrid Language Models》（arXiv 2609.04434，9 月 7 日周一 digest）在注意力+递归混合模型上引入两个缓存层干预：split-prefill（prefill 后只保留 KV 缓存或只保留递归状态再生成）和 state-swap（单次前向中把一个上下文的 KV 缓存与另一个上下文的递归状态配对）。在 Qwen3.5 和 Falcon-H1 上两个通道按功能尖锐分化：精确检索只能经注意力存活（全精度准确率的 64-98%），经递归完全归零；而输出语言与人设正好相反（经递归以 70-80% 和 3-5 倍存活，仅 KV 时语言准确率掉到约 1%）。state-swap 给出因果确认：答案的取值来自 KV 侧，答案的语言来自递归侧。作者总结：注意力提供「说过什么」的查表；递归状态塑造「接下来说成什么样」。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
这是对当前正以开源权重落地的混合架构（GLM-5.3-Flash、Qwen3.8-Flash-Next——趋势 #1）两个通道首次干净的因果分工拆解，而且正落在 serving 工程的设计点上：前缀缓存与状态检查点必须区别对待 KV 侧和递归状态——只有注意力承载精确回忆，只存递归状态的缓存会无声地丢失查表能力却保留风格与人设。做混合模型缓存或状态迁移的团队应分开测两个通道；本文提供了现成的干预协议。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 干预 | split-prefill：prefill 后只留 KV 缓存或只留递归状态再生成；state-swap：单次前向中把一个上下文的 KV 与另一上下文的递归状态配对 |
|---|---|
| 模型 | Qwen3.5、Falcon-H1 |
| 发现 | 精确检索只经注意力存活（全精度的 64-98%），经递归归零；语言/人设经递归存活（70-80%、3-5 倍），仅 KV 时语言准确率约 1%；state-swap：答案取值来自 KV 侧，语言来自递归侧 |
| 一句话 | 注意力 = 「说过什么」的查表；递归状态 = 「接下来说成什么样」 |
技术影响 3
工程价值 3
采用信号 2
成熟度 2
验证成本 3
风险 1