摘要
《Content-Based Addressing for Long Context》（arXiv 2609.07314，9 月 9 日周三 digest）替换 RoPE 不断增长的定位计数：token 流切分为单元，单元内保留普通 RoPE，每个完成单元获得由内容计算的地址。新增单元只是把同一个学习映射应用于新内容，不扩展位置范围或标识符表。作者证明该构造精确保持局部 RoPE、对非局部内容的注意力形式不变。
为什么重要
所有重标度/插值方案都靠拉伸计数器处理位置失配；这项工作把宏观结构的计数器整个去掉，让内容身份做寻址。还早且规模小，但对 1M 上下文问题是真正不同的原语——DeepSeek V4.1-Flash 的 CSA2 走稀疏索引路线到达同一目标（ev-20260910-01）。
技术细节
| ArXiv | 2609.07314，2026 年 9 月 9 日周三 digest |
|---|---|
| 构造 | 单元内普通 RoPE；内容计算单元地址；无位置范围扩展 |
| 保证 | 局部 RoPE 精确保持；非局部注意力形式不变 |
标签
long-contextropepositional-encodingcontent-addressingarchitecture