一行代码,网站第一次能对 AI 说「别学我」
- 2026-11-20 17:44:53
一行代码,网站第一次能对 AI 说「别学我」
《妙览》Vol.13 | 统计窗口 2026/10/23—10/29
如果你管着一个网站,过去一年大概被问过这样的问题:AI 公司的爬虫天天来抓页面,能不能不让它们拿去训练?
这个问题的标准答案一直是:能,但很麻烦。你要对着每家公司的爬虫名字,各写一遍规则——OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、Google 的 Google-Extended、微软 Bing 的爬虫,一家一个名字,一家一套写法。漏写一家,那家的抓取就照常进行。这就像小区门禁要给每家快递公司单独办一张通行证,办漏了谁,谁就自由出入。
10 月 30 日,这件事有了一个新答案。Google、微软、OpenAI 三家在同一天各自发帖宣布:支持一个统一的信号。同一天,一份名为《Machine-Readable Training Preference Signal》的草案被提交到 IETF——互联网标准组织,提交人 Kevin Kelley 是 Anthropic 负责标准的技术负责人。两天后,Anthropic 的爬虫帮助页面更新,确认已开始识别这个信号。
从此,一个网站想对这几家 AI 公司说「别用我的内容训练」,只需要在 robots.txt 里加两行:
User-Agent: __usage_ai-training
Disallow: /
写一次,四家都认。这是网站第一次用一个统一的、机器可读的方式,向所有主流 AI 公司表达同一种偏好。
先说清楚这两行写的是什么
robots.txt 是网站根目录下的一个小文件,是写给爬虫看的。网站在上面声明「哪些程序可以来拿哪些页面」,来了几十年的老规矩,搜索引擎都认它。
这个协议诞生于 1994 年,比 Google 成立还早。它的设计哲学是君子协定:没有任何强制力,全凭爬虫自觉遵守。三十年里,它安然度过了搜索引擎时代的所有纷争——站长用它保护后台目录,搜索引擎用它约束抓取范围,双方各取所需。
但 AI 把这个老协议推到了新位置。过去爬虫抓走页面,转头变成搜索结果里的链接,流量还会流回网站,这是一场双赢的交换。现在爬虫抓走页面,变成的是模型参数——下一个版本的大模型从此「会」你写的东西,但用户问起时,未必需要点开你的网站。交换的对称性被打破了,而 robots.txt 的老语法里,没有一句话能表达「我不接受这种新交换」。
于是各网站只能各自为战。有的用传统规则屏蔽 GPTBot、ClaudeBot;有的干脆动用防火墙,从网络层面拦截所有 AI 爬虫;也有网站反其道而行,主动和 AI 公司签内容授权协议,把训练数据做成一门生意。这几年的媒体行业里,起诉的、签约的、整站封锁的都有,策略分裂本身就是混乱的证明。
这次的改动没有发明任何新语法。它借用了 robots.txt 现有的格式,只是在原本写爬虫名字的位置,写了一个新的「策略标记」:__usage_ai-training。这个标记表达的不是「你不许来抓」,而是「你可以来抓,但不许拿去训练」。
草案里对「AI 训练」的定义很窄:用内容去修改生成式模型的参数,也就是把你的页面变成下一个模型的教材。用内容做检索、做排序、做当下的问答,都不算训练。
这决定了它的第一个特性:它是老格式里的新词。不支持这个标记的旧解析器,读 robots.txt 时会直接跳过这两行,什么也不发生。支持的公司,则把它读成一份训练偏好声明。改动是渐进的,不会弄坏任何现有的配置。
为什么这件事值得注意
单看技术,这两行平淡无奇。值得注意的是四家公司坐到了同一张桌子前。
过去几年,内容行业和 AI 行业在「训练数据」上的摩擦不断:有媒体起诉,有网站干脆整站屏蔽爬虫,也有不少站点选择和 AI 公司单独签授权协议。每家 AI 公司的爬虫规则各写各的,网站主要一家一家去研究、去配置、去追新爬虫的出现。对中小网站来说,这套流程的成本高到基本等于放弃。
统一信号把这件事变成了一次表态。你不需要懂每家的产品线,不需要追着新爬虫改配置,两行写完,表达一次,四家各自负责去读。
各家的时间表不一样。微软最明确:2027 年 2 月 1 日起,Bing 抓取时执行这个偏好,同时把旧的 NoArchive、NoCache 指令在 2027 年 3 月之后停用。Google 说计划在 2027 年支持,官方文档写的是「2027 年初」。OpenAI 说「未来几个月内」。Anthropic 最快——帮助页面已经确认,从 10 月 30 日起开始识别。
四家的公告措辞也不尽相同,细看能看出各自的算盘。微软写得最细,除了训练偏好,还顺带推出了一套「引用偏好」的页面级标记——你可以按页决定内容能不能被 Copilot 引用,颗粒度比其他家都细。Google 的公告重点放在了和自己产品线的衔接上,也就是后面要说的那个连带读法。OpenAI 的表态最简短,声明尊重统一信号,同时强调现有的爬虫规则继续有效。Anthropic 则等了几天才在自己的帮助文档里确认,没有单独发博客。
还有一个不容易察觉的细节:这份草案是 Anthropic 的员工提交的。一家训练数据需求最大的公司之一,派自己的标准负责人起草了「网站如何拒绝被训练」的协议。这里面的立场很微妙——对内容方来说,一个能用的拒绝机制总比没有强;但对协议本身,值得记住它是谁写的、按谁的口径定义了「训练」。
真正的坑:训练、抓取、引用是三件事
如果你打算去加这两行,先停一下。这次统一信号最重要的不是它给了你什么,而是它把三个长期被混为一谈的东西,正式拆开了。
第一件是抓取:爬虫能不能来读你的页面。这仍然由传统的爬虫规则管,GPTBot、ClaudeBot 那些名字继续有效,和训练偏好互不干扰。你声明了不让训练,爬虫照样可以来抓——比如为了搜索收录。
第二件是训练:你的内容要不要成为下个模型的教材。这是新标记管的范围。
第三件是引用:用户提问时,AI 要不要实时读你的页面、把你的链接放进答案里。Google 把这叫 grounding,这是「AI 时代的新搜索流量」——用户在 Gemini 里问问题,答案里带着你的链接,点击就来了。
这三件事过去经常被当成一件事「被 AI 用了」,但它们的利害完全不同。拒绝抓取,等于退出整个 AI 时代的搜索生态,代价最大;拒绝训练,保住的是内容的「教材权」;保留引用,守住的则是当下还能增长的流量入口。一个网站完全可能想要这样的组合:欢迎 AI 来读、欢迎 AI 来引用,但不欢迎内容被拿去训练——用 Google 官方的说法,这就是「被引用,不被学习」。过去要拼出这个组合,你得同时理解三家产品的文档;现在至少有了统一的语言来分别表达。
新标记只管第二件。它不挡爬虫,也不管引用。
但这里有一个 Google 特有的连带读法,也是最容易被坑的地方:按 Google 10 月 30 日的公告,如果你的网站用了统一标记退出训练、又没有单独写明 Google-Extended 的规则,Google 会把你的网站当作同时禁止了 Google-Extended。而 Google-Extended 管的恰恰不止训练——它还决定你的网站有没有资格被 Gemini 应用引用。
换句话说:一个只想拒绝训练、没想清楚引用问题的网站,加了两行代码之后,可能在 Gemini 的答案里悄悄失去被推荐的机会。今年发表的一项学术研究还观察到,屏蔽了 Google-Extended 的网站,出现在 Google 搜索 AI 摘要里的概率显著更低——注意,这只是相关性观察,原因尚不明确。但对靠搜索流量吃饭的内容网站,这不是可以忽略的信号。
所以那两行代码不是「加了就安全」的开关,而是一个需要想清楚的取舍:你更在意内容不被拿去养下一个模型,还是更在意 AI 时代的搜索入口里有没有你?
边界在哪
说清楚了机制,边界也要说清楚,而且这些边界相当硬。
第一,这是请求,不是封锁。robots.txt 从来都靠自觉,新标记也一样——四家「承诺遵守」,但没有任何技术手段强制。真想让某些内容彻底不可访问,得在服务器层面做拦截,那是另一套工程。承诺也可能变化:没有合同,没有费用,今天的「支持」只是公告。
第二,有一类抓取可能不受影响。各家文档里都写了「用户主动触发」的场景——用户在 ChatGPT 里让 AI 去读某个网页,这种代表具体用户的抓取,OpenAI 明确说可能不遵守 robots.txt。你挡得住教材,挡不住读者。
第三,它还不是标准。草案在 IETF 的 AI 偏好工作组里走流程,目前没有任何正式地位,有效期到 2027 年 5 月 3 日,到期没通过就要重新提交。而且 Meta 至今没有表态——它的发言人只说「重要的一步」,没承诺遵守。也就是说,即便四家都执行了,Instagram 和 Facebook 上的内容不在这套规则覆盖范围内。
第四,覆盖范围是四家,不是全部。给网站抓内容的工具远不止这四家,新的抓取服务还会继续出现。
如果你管着内容,三件事值得做
第一件,先回答一个战略问题:你要不要被 AI 训练?这没有标准答案。被引用是眼下的流量,被训练是给未来的模型当教材——有人认为这是免费的曝光投资,有人认为这是在免费喂养将来的竞争对手。想清楚这个,再动代码。
第二件,写配置时别只写那两行。统一标记和各家爬虫规则并行不悖,眼下更稳妥的做法是两套都写:统一标记表达长期偏好,GPTBot、ClaudeBot、Google-Extended 这些具体规则保住当下的确定性。而且注意,User-Agent: * 这种通配规则不算数——草案明确写了,通配符不会被视为表达了训练偏好。没有那个专门的组,就等于什么也没说。
第三件,动 Google-Extended 之前单独想一遍。想要 Gemini 里的引用流量,就别让统一标记顺带把它关了——在 robots.txt 里显式写明 Google-Extended 的规则,就不会被连带读法覆盖。同时记得,Google 搜索的 AI 摘要走的是另一条路,归 Search Console 管,和这套标记无关。
这次统一信号,本质上是行业第一次把「训练、抓取、引用」三件事摆在桌面上分开谈。对内容方来说,规则变清晰了,但清晰不等于简单——每一个开关背后都是一个取舍。好在现在,取舍至少可以只写两行代码来表达了。
妙览 · 本周妙招
我后来把「训练、抓取、引用」这三件事的区分画成了一页漫画,丢给妙招里的「知识漫画」——现成的 skill,不用下载,也不收费,打开直接就能用。把三个概念和各自的管辖区喂进去,它自动分格、配旁白,出一页四格的科普漫画,团队群里发一遍,比写文档省事;它出的图偏简洁科普风,需要更精细的视觉还得再加工。
对这个skill感兴趣可以后台回复【知识漫画】或【妙招】在平台获取
本周妙招由编辑结合本期主线挑选,推荐内容与其商品页一致,使用效果以实际体验为准。
你身边的第一次「AI 公司上市」记忆会是这家吗?欢迎留言聊聊:如果估值 2 万亿美元的 AI 公司股票进了你的养老基金,你会更安心还是更睡不着?




微信公众号丨妙招杂货栈