发生了什么：一份 IETF 草案，四家同一天表态
10 月 30 日，OpenAI 在官方博客表态将遵守 robots.txt 里的一个共享信号，Google 同一天在 Search Central 博客跟进，微软同日公布了自己的执行时间表和两项新增设置。而这份草案的作者，是 Anthropic 的标准技术负责人 Kevin Kelley——据多家报道，Anthropic 已经开始实施支持。
草案名字叫《Machine-Readable Training Preference Signal》，挂在 IETF 的 AI Preferences 工作组（AIPREF）下，2026 年 10 月 30 日发布，有效期写到 2027 年 5 月 3 日，除非期间更新。
说白了就一件事：以前网站要拒绝 AI 训练，得在 robots.txt 里把 GPTBot、Google-Extended、ClaudeBot 一个个写进去，而且这个名单还在变长；现在可以写一条通用指令，四家一起认。
两行怎么写，能管什么、不能管什么
写法很简单，两行：
User-Agent: __usage_ai-trainingDisallow: /
如果想留例外，比如允许某个目录被用于训练，就在后面加 Allow 行。信号名就是那一串带下划线的 __usage_ai-training，写在 User-Agent 那一行里。
这里必须说清楚它的边界，因为这是最容易被误读的地方：
它只覆盖训练。不限制抓取，不影响搜索索引，也不决定你的页面会不会被引用进 AI 生成的回答里。换句话说，你退出训练，不等于你的站从搜索结果里消失，也不等于 ChatGPT 或 Gemini 的回答里不会再提到你。
它是自愿的。这是一份个人草案（individual Internet-Draft），IETF 页面明确说明未经 IETF 认可，只对愿意遵守的厂商有约束力。谁签了谁认，没签的不认。
它不追溯。已经被采集进数据集、已经用于训练的内容，不会因为你现在写了两行就被移除。你退出的只是”以后”。
把这三条放在一起看，就能明白它解决的是什么问题：它把”表达意愿”的成本降到了两行，但没解决”意愿能不能被执行”的问题。
四个时间表：现在、几个月、明年 2 月、明年
四家的承诺不在一个节奏上，这一点比信号本身更值得关注。
Anthropic：草案作者，据报道已开始实施支持，是四家里走得最快的。
OpenAI：表示将在”未来几个月”内支持，用于基础生成式 AI 训练，同时保留现有的各家爬虫规则。
微软：明确到 2027 年 2 月 1 日开始执行，而且不止于此（下面单独说）。
Google：目标 2027 年支持。Google 的爬虫文档更新里说，如果站点用这个共享信号退出训练、又没有单独提到 Google-Extended，Google 会按”该站已经禁用了 Google-Extended”来处理。
从 10 月 30 日算到 Google 的 2027 年，中间隔着最长一年多。这段时间里，一个只想写两行的站长，实际上还是得把各家爬虫单独写上——因为不写就没有保护。所以现在唯一正确的做法是双写：共享信号写一条，各家 UA 照旧保留，等对方确认支持再考虑精简。
微软多做了两件事，第二件更值钱
微软在这次表态里加了两项页面级设置，值得单独拎出来。
第一项是页面级的训练设置。以前 robots.txt 是整站口径，现在可以细到单页。
第二项是 AI Grounding 开关。Grounding 指的是 AI 在回答时实时抓取网页内容作为依据。微软给了两个新标签：DisallowExtended 把 grounding 限制在微软自家产品（Copilot、Microsoft 365）内，屏蔽它卖给第三方的 grounding 服务；Disallow 则完全禁止 grounding。
为什么说第二项更值钱？因为它第一次让”我不要你拿我的内容训练，但我愿意被你引用”这句话变得可以写下来。过去这两件事是捆在一起的：一个 Disallow 下去，训练挡住了，引用和流量也一起没了。对内容站来说，这个取舍一直是两难——不给训练，可能连曝光都没了。
微软同时提醒了两件事：这些设置不影响必应搜索结果里的排名；但屏蔽 grounding 可能降低品牌在 AI 回答中的可见度。前一句是安抚，后一句是实话。
另外，微软说旧的 NoArchive、NoCache 标签要换成新的，切换期限是 2027 年 3 月 1 日。用这两个老标签的站，得在那之前改完。
Google 那句补充，是最容易被忽略的一条
Google 的说明里有一句技术细节：如果站点用共享 token 退出训练、但没单独提到 Google-Extended，Google 会当成你已经禁用了 Google-Extended；而明确允许 Google-Extended 的站点，仍然可以出现在 Gemini 应用的 grounding 结果里并获得点击。
这句话的实操含义是：你写一条共享的”不训练”，对 Google 来说可能是”连引用也不要了”，除非你显式地把 Google-Extended 留出来。这是一个默认从严的设计，方向是对的，但它意味着——写这两行之前，得先想清楚自己要的到底是”不给训练”还是”不给训练但可以引用”。
这两者是完全不同的商业选择。前者是保护内容资产，后者是保住流量入口。以前没得选，现在有得选了，反而更需要想清楚。
影响一：从”逐家拦”到”一次声明”，治理重心换了位置
过去三年，站长对抗 AI 爬虫的手段是分散的：有的走授权许可收费，有的靠 CDN 默认拦截，有的在 robots.txt 里维护一份越来越长的 UA 清单。这些手段的共同问题是维护成本随着厂商数量线性增长——每出一家新公司，就多一个爬虫名要记。
共享信号把这个成本压到了常数：写一次，所有签署方认。这确实是进步。
但要注意进步发生在哪一层。它降低的是”声明”的成本，不是”执行”的成本。声明之后能不能被遵守、违反了怎么举证、谁来裁判，这些问题一个都没解决。robots.txt 二十多年来的历史已经证明了这一点：它靠的是行业默契，不是强制力。
这和Cloudflare 默认拦截 AI 爬虫那篇讲的正好是两个方向：一个是在网络层直接拦，不认也不给；一个是在声明层表达意愿，认了才有效。前者硬、后者软，两条路会长期并存。
影响二：训练、检索、引用，第一次被拆成三件事
这是我认为这次事件里最实质的变化。
以前的模型是二元的：允许抓，或者不允许。现在拆成了三层——能不能抓（robots.txt 的 Disallow）、能不能拿去训练（这个新信号）、能不能被实时检索并引用进回答（grounding 设置）。三层可以分别表态。
对内容站来说，这个拆分打开了一个过去不存在的选项：允许被引用、禁止被训练。逻辑上也站得住——引用带来的是点击和品牌曝光，训练带来的是”你的内容变成了别人的参数，然后反过来跟你抢流量”。
这个选项会不会成为主流，取决于两件事：AI 回答带来的点击到底有多少，以及厂商愿不愿意真的把三层分开执行。前者还没人拿出可信的数据，后者目前只有微软给了明确的标签。
影响三：不追溯，所以”退出”其实是”止损”
草案和各家说明里都明确了一点：这个信号管的是未来的训练，已经进数据集的内容不会被移除。
这句话值得多说两句。很多站长对”退出”的理解是”把我的内容还回来”，实际能做到的只是”别再拿新的”。已经训练进去的东西，技术上无法从权重里摘除——这不是厂商不愿意，是当前技术做不到精确遗忘。
所以对内容站而言，这件事的性质不是”维权”，是”止损”。真正想解决存量问题，只能走另外两条路：许可授权收费，或者法律途径。这两条路和写两行 robots.txt 不是一回事，别混着期待。
影响四：对做 Agent 的人，robots.txt 的语义变复杂了
这一层和技术读者关系最大。
以前写一个抓取型 Agent，判断”能不能抓这个页面”，看 robots.txt 的 Disallow 就够了。现在要多读一层：如果站点声明了 __usage_ai-training，那意味着”你可以来抓，但抓下来的内容不能用于训练”。
如果你的 Agent 只是实时检索、把内容塞进上下文回答用户，那属于检索与引用，不违反训练偏好；但如果你在把抓下来的语料攒成数据集去微调模型，那就踩线了。问题在于：很多团队内部这两件事是同一条流水线——同一个抓取器，白天做检索，晚上跑训练语料。
这就要求代码里把”用途”显式建模出来，而不是靠人记得。这一点和AAIF 那套标准的走向是一致的：能力层面的规范越来越细，粗粒度的”允许/禁止”正在被拆成带用途的授权。
老达点评
第一，这不是 AI 让步，是把争议从法庭挪到了配置文件。四家同一天表态，看着像和解，实质是把”该不该拿”这个法律问题，转化成”我已经告诉你了”这个技术声明。声明之后，责任前移到了站长这边：你写了，就有依据；你没写，就很难说别人不对。
第二，真正值钱的不是共享，是可分层。一条通用信号省的是维护成本，值不了多少钱；能把训练、检索、引用拆开，才是结构性的变化。前者是便利，后者是选择权。
第三，两行代码解决不了一个五年的问题。自愿、不追溯、时间表差一年多——三个条件叠在一起，意味着 2027 年之前该写的各家 UA 一条都不能少。谁现在把自己的 UA 清单删了，谁就是在裸奔。
第四，对本站这类内容站，我的判断是：训练另议，引用必须留。我们靠搜索和引用活着，把 grounding 一刀切关掉是自伤。至于训练，短期内拿不到对价，写上去也不损失什么——但要写清楚，别顺手把 Google-Extended 也禁了。
五个没解决的问题
一，IETF 会不会定稿。这是个人草案，2027 年 5 月 3 日到期。工作组能不能把它推成正式标准，决定它是长期机制还是一次姿态。
二，违反了怎么举证。站长怎么知道某家厂商有没有遵守？现在没有任何审计接口。没有举证手段的承诺，执行力取决于厂商自律。
三，Google 2027 年之前的空窗怎么办。这一年多里，Google 的爬虫认不认这条信号，没人说得准。中间态是最难处理的。
四，grounding 和训练的边界在哪。实时抓取内容回答用户，和”抓下来存起来以后用”，技术上怎么区分？微软给了标签，但判定标准还没公开。
五，Agent 抓取算训练还是检索。这是最新的一类问题。用户让 Agent 去读一个页面、总结给他看，这次抓取属于什么？按现有框架，它既不是训练也不是索引，落在缝里。
站长现在能做的四件事
第一，先看自己现在写了什么。很多人以为自己禁了 AI 爬虫，实际只写了 Disallow: /admin。先把手上的 robots.txt 读一遍，列清楚哪些 UA 被禁、哪些目录开了口子。
第二，双写，不要替换。共享信号加上，各家 UA 保留。等哪家明确宣布支持了，再针对那一家做精简。
第三，想清楚要什么。给训练、给检索、给引用，是三个不同的商业决定。如果靠搜索流量活着，别把引用关了；如果内容本身就是产品，那训练这一层要单独谈。
第四，把这件事记进例行检查。robots.txt 以前是一次性配置，现在成了需要跟着厂商时间表更新的活文档。2027 年 2 月、2027 年 3 月、2027 年这几个节点，值得在日历上标一下。
顺便说一句，这件事和网站收录诊断是同一套思路的两个方向：收录诊断关心”我有没有被看见”，robots.txt 治理关心”我被看见之后发生了什么”。两件事都得做，而且都会越来越依赖机器可读的声明。
Yelp、达美、摩根大通开始拦 AI Agent那篇讲的是另一面：当 Agent 代表用户来操作你的系统时，你也需要一套声明机制来区分”谁在代表谁”。声明层的建设，今年在两头同时发生——一头是内容，一头是动作。
最后一句：这次真正的信号不是”四家达成一致”，而是内容供给侧第一次拿到了一个可以分层表达偏好的接口。接口有了，怎么用是各家自己的事。用得好是护城河，用不好就是把自己的流量关在门外。
