← 事件库 / Research

内容寻址取代位置拉伸:长上下文的另一条路

《Content-Based Addressing for Long Context》(arXiv 2609.07314,9 月 9 日周三 digest)替换 RoPE 不断增长的定位计数:token 流切分为单元,单元内保留普通 RoPE,每个完成单元获得由内容计算的地址。新增单元只是把同一个学习映射应用于新内容,不扩展位置范围或标识符表。作者证明该构造精确保持局部 RoPE、对非局部内容的注意力形式不变。

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

所有重标度/插值方案都靠拉伸计数器处理位置失配;这项工作把宏观结构的计数器整个去掉,让内容身份做寻址。还早且规模小,但对 1M 上下文问题是真正不同的原语——DeepSeek V4.1-Flash 的 CSA2 走稀疏索引路线到达同一目标(ev-20260910-01)。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

背景材料 · 历史记录,未重新核验

《Content-Based Addressing for Long Context》(arXiv 2609.07314,9 月 9 日周三 digest)替换 RoPE 不断增长的定位计数:token 流切分为单元,单元内保留普通 RoPE,每个完成单元获得由内容计算的地址。新增单元只是把同一个学习映射应用于新内容,不扩展位置范围或标识符表。作者证明该构造精确保持局部 RoPE、对非局部内容的注意力形式不变。

技术细节与六维评分
ArXiv 2609.07314,2026 年 9 月 9 日周三 digest
构造 单元内普通 RoPE;内容计算单元地址;无位置范围扩展
保证 局部 RoPE 精确保持;非局部注意力形式不变
技术影响 4
工程价值 2
采用信号 2
成熟度 1
验证成本 3
风险 2