← 事件库 / AI Engineering

Cloudflare 与 OpenAI 公布网页发现试点结果

Cloudflare 与 OpenAI 公布一项研究试点的早期结果:用新鲜度、内容变化、重定向、重复页面和潜在有害页面信号改善网页发现。覆盖约 1% Cloudflare 网络的样本帮助 OpenAI 找到数亿个此前未知页面。OpenAI 仍独立决定相关性与排序,发现信号也不等于获得抓取许可。目前没有公开 API 或 GA 产品。

对你意味着什么

对做网页搜索、RAG 或研究型 agent 的团队来说,变化信号可以减少重复抓取并改善新鲜度。规模数据由双方自报,下游质量尚未测量,当前也无法直接采用,因此应等待公开接口和独立结果。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

技术细节与六维评分
阶段 研究试点;不是 GA,也没有公开 API
样本 约 1% 的 Cloudflare 网络
信号 新鲜度、内容变化、坏链接、重定向、重复页面与潜在有害页面
报告结果 双方称发现数亿个此前未知页面
数据边界 使用网页元数据做发现;文章称不为模型训练共享页面内容,发现也不授予抓取许可
时间依据 官方页面元数据为 2026-10-15T13:00:00Z
技术影响 3
工程价值 3
采用信号 1
成熟度 1
验证成本 4
风险 3