论文在 76 份政策文档上量化了格式提示丢失,但尚无公开代码或独立复现。
研究发现文档转换会抹掉 policy agent 需要的视觉提示
2026-10-22前沿观察WATCH
一项覆盖 76 份真实政策文档的研究发现,常见文档摄取流程会丢掉高亮、颜色等格式中承载的含义。研究用确定性的 OOXML 规则评分:保留提示时 micro-F1 为 0.690,经 Docling 后降到 0.150,纯文本则为 0.075;这个结果在六个回答模型上重复出现。论文给出了明确故障模式,但没有公开代码或独立复现。
对你意味着什么
对 RAG 和文档 agent 团队来说,文本抽取可能在检索和推理开始前就悄悄改变政策含义。验收不能只看 OCR 准确率,还要加入版式提示测试和作者强调信息的来源追踪。
前沿观察
公开材料与效果验证,分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 样本 | 76 份真实政策文档;另对 6,460 份文档统计提示使用率 |
|---|---|
| 指标 | 保留提示 0.690,Docling 0.150,纯文本 0.075 micro-F1 |
| 模型 | Anthropic 与 OpenAI 的六个回答模型 |
| 方法 | 确定性的 OOXML 属性评分,不使用 LLM judge |
| 限制 | 单篇论文,没有公开代码或独立复现 |
| 时间依据 | arXiv v1 发表于 2026-10-21T16:51:25Z |
技术影响 3
工程价值 4
采用信号 1
成熟度 1
验证成本 2
风险 3