四大AI巨头共认一行退出代码,网站拒绝被训练只需写两句话

主笔 |林一  ·  出品 | 安芯元

四大AI巨头共认一行退出代码，网站拒绝被训练只需写两句话

10月30日，OpenAI、谷歌、微软、Anthropic四家公司罕见同步宣布：共同认领robots.txt里的一个统一令牌__usage_ai-training，网站所有者写上两行字，就能一次性拒绝全部四家的AI训练。此前站长要逐个屏蔽GPTBot、Google-Extended、ClaudeBot等一长串爬虫，现在一份文件管四家。AI巨头们争了三年的数据边界问题，最后收敛成一个文本文件里的两行声明。

▲ 来源：微软Bing官方博客 · 训练与接地偏好公告（2026-10-30 置顶）

一、两行字改了什么

机制本身朴素到不像重磅新闻。网站在robots.txt里写上User-Agent: __usage_ai-training和Disallow: /，就是向所有支持该信号的厂商声明「不要用我的内容训练」，想留例外就用Allow行划出目录，比如新闻素材包保持开放。

历史上 robots.txt 并非第一次被赋予新使命。搜索引擎时代它管抓取频率，广告时代它管比价爬虫，如今AI时代它管训练授权。

一个1994年的极客发明，三十年里三次承接行业级命题，靠的不是功能堆叠，而是全世界对这份文本文件的默认尊重。这次四家厂商认领统一令牌，本质上是把这种尊重延续到了生成式AI的语境里，协议没换，换的是协议背后的商业秩序。

这件事的背景是站长们被逼了三年。想拒绝AI训练，得逐家维护名单：OpenAI的GPTBot、谷歌的Google-Extended、Anthropic的ClaudeBot，每出一款新模型就可能多一个爬虫，名单永远追不上行业的新增速度。勤快的站长维护到崩溃，懒惰的站长干脆躺平默认被爬。

robots.txt这个协议本身已近三十岁，1994年由荷兰工程师马丁·科斯特设计，起初只是给搜索引擎的礼貌性指引，三十年间成了全网默认的访问礼仪。

AI时代它被重新推上牌桌，用途从「请守规矩地爬」升级为「我的内容可以用于什么」，一个快三十岁的老协议在生成式AI面前拿到了第二份工作。

统一的令牌把成本倒了个方向：偏好写一次，所有采用该信号的厂商都必须尊重。用一个技术圈的老说法，这是把N个一对一谈判合并成了一份多边协议。

技术上草案没有发明任何新东西。它由Anthropic工程师凯文·凯利起草，10月30日提交IETF，完整复用现行robots.txt标准RFC 9309的路径匹配规则和分组结构，不新增指令、不新增语法。不认识这个令牌的爬虫会自动忽略它，兼容成本为零。

拒绝被AI训练这件事，从维护一份越写越长的黑名单，变成抄两行声明，门槛的坍塌本身就是行业态度的转变。

▲ 来源：IETF RFC 9309标准原文 · robots.txt互操作规范

二、四家的算盘各有不同

同一份声明，四家的动机并不一样。Anthropic是草案起草者，已经动手实现，姿态最积极；OpenAI说未来几个月内落实；谷歌给了2027年的时间表；微软卡死2027年2月1日这个硬日期，同时宣布旧版NoArchive、NoCache标签在2027年3月1日前必须切换。

谷歌附带了一条关键解释：网站用统一令牌退出训练而未单独点名Google-Extended的，谷歌将视同禁用了Google-Extended。

反过来，明确允许Google-Extended的站点仍可出现在Gemini应用的引用结果里。搜索索引和训练授权被明确拆成了两笔账。

微软做得最细。它把「训练」和「接地」分开管理，后者指把实时网页内容拉进聊天答案的检索动作。站长可以对每个页面分别设置：允许、仅限微软自营产品使用、或者完全拒绝。微软同时提醒，后两种设置会显著降低网站在AI场景里的曝光。

把训练和检索拆开是这个行业的真实分歧。训练用一次内容永久沉淀进模型参数，检索是每次问答的实时引用还带出处链接，两者的商业含义天差地别。微软先画了这条线，另外三家会不会跟进，决定了这套标准最终的颗粒度。

出版商阵营这几年的处境可以概括为被动。新闻流量被AI问答分走，授权谈判拖成长拉锯，几起版权诉讼还在法院排队。

统一令牌给了他们一个不用等判决就能行使的选项，虽然对价仍是零，但从「没得选」到「可以选」，谈判桌上的筹码位置已经变了。

对内容行业，这是三年拉锯后的第一个统一出口。此前新闻集团、金融时报、BBC、维基媒体都在IETF的AI偏好工作组里较劲，Cloudflare的 Nottingham 和思科的Krishnan担任联席主席，EFF和知识共享组织也在场。共识不完美，但格式终于定了一版。

四家公司各揣算盘签了同一份声明，差异全留在了落实时间表里，标准真正的形状要等2027年各家兑现时才看得清。

▲ 来源：本刊自制 · 一个令牌，四张时间表

三、它的边界比想象中大

泼冷水的部分必须讲清楚。这份令牌只管训练，不管抓取：声明了拒绝训练，爬虫照样可以来访问你的页面，只是拿到的内容不进训练管道。搜索索引、AI问答里的引用也不在覆盖范围之内。

它也不溯及既往。robots.txt更新之后，已经抓走的内容、已经进模型的数据，一个字节都不会吐出来。对那些过去两年被大规模爬取的网站，这份声明保护的是明天，追不回昨天。

执行上它更是软约束。OpenAI自己把它定位成「协调机制而非安全控制」，无视这份文件的爬虫不会被任何技术手段拦截，IETF的草案状态也只是个人草案，离正式标准还有距离，工作组内部对现有版本仍有实质分歧，参与讨论的从业者直言「在IETF层面这事根本还没完」。

私有协议随时可以凌驾其上。大型出版商和AI公司单独签订的内容授权合同优先于robots.txt声明，小站长的两行字管得住守规矩的大厂，管不住来路不明的采集器。

但换个角度看，软约束恰恰是它能成的原因。如果草案一开始就带强制条款和处罚机制，四家厂商大概率谈不拢。先把格式统一、把表态成本降到最低，让「尊重声明」成为行业默认礼仪，比一纸无法执行的法令更接近现实路线。

两行声明挡不住蓄意的爬虫，它约束的从来是君子，但让君子守约的成本降到接近零，本身就是行业秩序的进步。

▲ 来源：腾讯新闻·通信产业报（2026-10-31） · AI爬虫迎来统一退出键

四、数据战争的下一阶段

这份声明真正的分量，在于它给「内容定价」铺了基础设施。拒绝是免费的，那么拒绝就成了一种可量化的谈判姿态：平台想拿数据训练，就得给出让站长愿意摘掉声明、甚至主动声明允许的对价。

可以推演的下一步是分级订阅：站长声明允许训练换取收入分成，就像现在的广告联盟。robots.txt从攻防工具变成计价接口，内容授权从诉讼桌搬回技术协议，这是数据要素市场化的一个微小但真实的起点。

对普通内容创作者，这套机制的实际影响要冷静看待。个人博客和中小站点此前大多没有精力维护爬虫黑名单，新令牌等于免费送了一份保护；但保护只是让内容不被拿去训练，AI问答里引用你的链接带来的流量，一份都不少地照旧分流。技术保护挡得住训练，挡不住注意力迁移。

欧盟已经提前背书。谷歌在公告里提到，这套机制与欧盟通用AI行为准则一致，该准则将robots.txt认定为出版商表达机器可读偏重的首要方式。监管的默认姿态是乐见其成，四家厂商抢在立法强制前自我约束，也是在给监管递投名状。

对中文互联网，这套机制照搬过来还有一层落地问题：国内大厂的爬虫体系、内容授权习惯与海外不同， robots.txt的执行力历来参差。

同样的令牌在中国能不能形成对等约束，取决于头部厂商是否愿意跟进认领，目前还没有任何一家表态。

更远的变量是立法。欧盟的AI法案、美国的州级立法、各国的版权修法都在路上，如果未来某天法律把「尊重机器可读偏好」写成强制义务，今天这份自愿声明的价值会一次性兑现。四家厂商现在抢跑标准化，也是在为自己锁定规则话语权，谁定格式谁受益。

真正的悬念在执行层。微软的2027年2月1日是唯一写死的日期，它把训练和检索分级管理的设计会不会被另外三家采纳，是观察这套标准能走多远的第一块试金石。声明已经签了，接下来比的只是兑现。

数据战争打了三年，从法庭打到IETF，最后落成一个文本文件，技术标准慢，但它比判决书活得更长。

▲ 来源：Wikimedia Commons，摄影 BrokenSphere，CC BY-SA 3.0 · 网络机柜：爬虫流量的物理入口

— END —