← 事件库 / Research

研究发现文档转换会抹掉 policy agent 需要的视觉提示

一项覆盖 76 份真实政策文档的研究发现,常见文档摄取流程会丢掉高亮、颜色等格式中承载的含义。研究用确定性的 OOXML 规则评分:保留提示时 micro-F1 为 0.690,经 Docling 后降到 0.150,纯文本则为 0.075;这个结果在六个回答模型上重复出现。论文给出了明确故障模式,但没有公开代码或独立复现。

对你意味着什么

对 RAG 和文档 agent 团队来说,文本抽取可能在检索和推理开始前就悄悄改变政策含义。验收不能只看 OCR 准确率,还要加入版式提示测试和作者强调信息的来源追踪。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

技术细节与六维评分
样本 76 份真实政策文档;另对 6,460 份文档统计提示使用率
指标 保留提示 0.690,Docling 0.150,纯文本 0.075 micro-F1
模型 Anthropic 与 OpenAI 的六个回答模型
方法 确定性的 OOXML 属性评分,不使用 LLM judge
限制 单篇论文,没有公开代码或独立复现
时间依据 arXiv v1 发表于 2026-10-21T16:51:25Z
技术影响 3
工程价值 4
采用信号 1
成熟度 1
验证成本 2
风险 3