9 月 15 日，Cloudflare 在 7 月预告的一项策略正式生效：默认拦截「混合用途」AI 爬虫——也就是那些同时承担搜索收录、Agent 实时抓取和模型训练多种角色的机器人，在带广告的页面上先一律挡住，除非站点所有者主动放开。
这条消息对普通用户没影响，但对做 Agent 的人影响很直接：过去「用爬虫把网页内容喂给 Agent」是默认路径，现在这条路的地基被重构了一遍。更值得注意的是它同时改动了商业模式——原来按抓取次数收费的 Pay Per Crawl，被换成了按「内容是否真的被 AI 用上」计费的 Pay Per Use。
事实梳理：这次到底改了什么
先把可核实的信息摆清楚：
- 生效时间与范围：政策 7 月公布，9 月 15 日正式生效。适用于所有新注册的 Cloudflare 客户、现有客户新建的站点，以及仍在免费套餐的既有站点。已经在付费套餐上、配置已存在的站点保持原有设置不变。据公开报道，Cloudflare 位于全球约五分之一的网站之前。
- 三类爬虫的划分：Cloudflare 把抓取行为拆成搜索（Search）、训练（Training）和 Agent 三类。搜索爬虫默认继续放行；训练和 Agent 类默认拦截。混合用途的爬虫按「最严格的那个身份」判定——也就是说，一个爬虫只要不能声明自己是单一用途，就会被挡。
- 只在带广告的页面生效：不投放广告的内容页和文档页不在这次默认变更的范围内。这一设计明显是冲着「广告收入被 AI 摘要侵蚀」这个矛盾去的。
- 计价模型换轨：Pay Per Crawl 按抓取次数计费，被 Pay Per Use 取代——只有当内容真正进入 AI 生成的答案并被使用时，发布方才获得计费收益。首批参与方为 Ceramic.ai（按查询付费）和 You.com（支持 Agent 在对话中按需付费获取付费墙内容）。
- 官方口径：Cloudflare CEO Matthew Prince 表态称，如今互联网流量中非人类流量已经占多数，因此必须更激进、更快地行动。公司同时披露，超过一半的 AI 爬虫请求是在重复抓取没有变化的页面。
- 表态的支持方：部分大型内容方公开支持这一方向，理由是 AI 摘要长期引用其报道却不带来回访流量。同时也点名批评了抓取量显著高于同行的个别厂商。
需要说明的是，上述规则的细节和判罚尺度以 Cloudflare 官方文档为准，各方对「混合用途」的界定仍有争议。
关键问题：拦得住吗
这才是对做 Agent 的人最有价值的部分。新规上线后，一批技术分析给出了不太乐观的实测结论：
- robots.txt 基本是个请求，不是墙。2026 年 7 月一项覆盖 10,894 个域名的测量显示，在 Google AI 模式实际引用的页面中，51.9% 属于至少在 robots.txt 里屏蔽过一类 AI 爬虫的站点，而全样本中这个比例只有 15%。换句话说，写了屏蔽，照样被引用，而且被引用的比例还更高。
- 屏蔽状态经常没有被真正执行。同一研究显示，明确屏蔽过某个主流抓取机器人的站点里，39.5% 在对方实际请求页面时仍然给出了正常响应——禁令停留在纸面，请求照常被满足。
- 身份全靠自报。爬虫的 User-Agent 是自己写的字符串，没有任何强约束。IP 白名单能用，但维护成本高、容易失效，且新厂商一出现就漏。
所以这次 Cloudflare 的拦截之所以值得重视，恰恰因为它不是靠自觉——它站在 CDN 位置上，在请求到达站点之前就能做判定。这也是基础设施型公司在这件事上的真实优势：不依赖对方配合。
下一代方案：给爬虫一个密码学身份
针对「身份不可信」这个根子上的问题，业内正在推一套叫 Web Bot Auth 的机制，Cloudflare 已把它做进了自己的基础设施里。原理并不复杂：
- 爬虫运营方生成一对 Ed25519 密钥，公钥以标准格式发布在自己域名下一个固定路径下。
- 此后该爬虫发出的每一个 HTTP 请求都用私钥签名，用的规范是 RFC 9421 定义的 HTTP 消息签名。
- 站点或前置的 CDN 拿公钥验证签名，从而确认「这个请求确实来自它声称的那个运营方」。
这件事的意义在于：把「声明」变成了「证明」。它不会解决「该不该让你抓」的问题，但至少解决了「你是谁」的问题——而这恰恰是过去所有反爬方案最脆弱的一环。对做 Agent 抓取的团队来说，这是一个需要提前关注的接口层变化：未来很可能出现「未签名的请求默认被降级处理」的局面。
影响分析：四个方向
（1）抓取型 Agent 的可用性和成本都会被重算。过去抓公开网页拿内容，几乎是零成本默认操作。现在需要按站点判断：是否在 Cloudflare 后面、页面是否带广告、对方的爬虫分类设置是什么。抓不到的地方要么转向官方接口和 API，要么走有授权的通道。「有接口就别爬页面」从最佳实践变成了生存策略。
（2）内容站的话语权明显提升，但兑现收益仍有距离。Pay Per Use 给了发布方一个「按效果收费」的框架，比按抓取次数收费合理得多——毕竟没被用上的抓取确实不该收钱。但目前参与的采购方只有两家，市场规模还很小，短期内更像是议价筹码而非真实收入来源。
（3）训练侧的合规成本上升，但技术绕行空间仍在。分类声明机制要起作用，前提是抓取方配合声明。而历史经验表明，只要收益足够大，总有玩家选择不声明。所以这件事最终大概率不是「一刀切住」，而是分层：守规矩的拿清晰身份和稳定通道，不守规矩的靠对抗和消耗维持。
（4）「Agent 友好」会成为网站的新卖点。以前网站做 SEO 是给搜索引擎看的，接下来可能要同时考虑「给 Agent 看」——暴露结构化接口、声明可授权的用途、提供标准化的身份验证路径。已经有标准组织在推让网站直接把结构化工具暴露给 Agent 的方案，这条路和 Cloudflare 的拦截方向恰好是同一枚硬币的两面。
老达点评
第一，这次真正变天的地方不是「拦」，是「分类」。拦截本身早就有，robots.txt 喊了三十年。有价值的是把「搜索、训练、Agent 抓取」这三种用途拆开——过去它们混在一个爬虫里，站点没法表达「我欢迎搜索、但不欢迎训练」。分类一旦成为行业默认认知，后续所有谈判、计价、合规都会围绕这三个格子展开。这是认知层面的地基变化。
第二，别把希望放在「拦得住」上。实测数据已经说明，声明式的拦截在实际执行中会漏水。真正的分水岭是签名验签这类密码学身份什么时候普及——只有身份可验证，权限设计才有意义。没有可信身份的反爬，本质上是军备竞赛；有了可信身份，才有可能变成规则。
第三，对做 Agent 的人来说，最该复盘的是自己的数据来源结构。如果你的 Agent 有一大块能力建立在「随时能抓任意网页」这个假设上，那这个假设的稳定性正在下降，而且下降是渐进的、不通知的。趁现在把每个数据源按「官方接口 / 有授权 / 公开可抓 / 依赖对抗」四档盘点一遍，该谈授权的谈授权，该自建数据源的排期。这件事的最佳行动时机永远比事发早半年。
对做 Agent 的人，三个可执行建议
- 先盘点再改造。把当前所有抓取目标列出来，标注站点是否在 Cloudflare 后面、是否有官方 API、是否有明确的使用条款。这一步不写代码，但决定了后面所有工程的方向。
- 接口优先，抓取兜底。能对接官方接口就对接，哪怕要申请授权、要走商务流程。抓取作为兜底手段保留，但要明确「哪个站点失效了会影响哪条业务线」，做失效预案。抓取的合规边界和登录态处理可参考 抓登录后网页怎么做，工程侧的实现细节见 OpenClaw 怎么接浏览器。
- 把失效当作常态来设计。抓取失败不是异常，是常态。要有降级路径（用缓存/用旧数据）、要有告警（哪个源挂了）、要有替代源。站内 定时盯网页变化 里讲的失败重试与变更发现机制，在这种环境下更需要配置到位。权限边界与最小授权原则，可参考 Agent 权限管理。
顺带说一句国内视角
国内生态对这类变化不太敏感，原因很简单：主流内容平台的抓取通道长期以官方开放接口和合规授权为主，公开网页批量抓取本来就不是主流路径。所以这次政策对国内团队的直接冲击有限，但它指向的趋势是全球一致的：内容方要参与分成，抓取方要证明身份。做跨境业务、依赖海外内容源的团队要重点跟进；纯国内业务的团队，值得把它当成一次预警——同样的账，早晚要算。
总结
这次变更可以压缩成三句话：用途被强制分类，计价从按抓取改成按使用，身份从自报走向可验证。三条里前两条已经落地，第三条刚开始。对 Agent 团队来说，这是一个必须更新数据源假设的时间点——不是明天就要推倒重来，而是今天就该知道自己站在哪块地基上。
