政策 2026-11-01

四大 AI 公司统一「退出键」:网站一句话就能拒绝被 AI 抓走内容

一句话说清:OpenAI、谷歌、微软、Anthropic 四家一起表态支持一个新标准——网站只要在 robots.txt 里写一条统一指令,就能一次性告诉各家 AI「别拿我的内容去训练」。

发生了什么

  • 这四家公司在 10 月 30 日前后先后确认,将采纳一种叫共享「策略令牌」(policy token)的新机制。它由 Anthropic 的标准技术负责人 Kevin Kelley 在国际互联网工程任务组(IETF)提出,并已提交草案。
  • 用法很朴素:就写在网站根目录那个老牌的 robots.txt 文件里。过去网站要拒绝 AI 抓取,得一家一家分别设置,A 公司一个入口、B 公司一个入口,规矩还不一样;现在一条统一指令,支持这个机制的 AI 爬虫读到后自己就退走。
  • 各家节奏不一样:Anthropic 已经采用;谷歌和微软计划明年支持;OpenAI 说未来几个月内落地。Meta 的传播负责人表示「支持这个方向」,但没说会不会遵守。
  • 微软还多给了一个更细的开关,叫「AI Grounding」——专门管「AI 为了回答用户问题而临时访问你的网页」这种用途,可以和「训练用」分开拒绝。同时微软强调:不管网站怎么设,Bing 的搜索结果照常收录。

对我有什么用

  • 如果你有网站、公众号以外的独立站、博客,这条和你有直接关系:以后不想让 AI 白拿你的内容去训练,不用再挨家发邮件、填表、逐条设置,改一个文件就行。
  • 如果你只是普通用户,它影响的是你搜到的内容:过去一年很多网站因为被 AI 抓走内容、又换不来点击,开始关起门来(比如要求登录才能看)。这个统一开关某种程度上是给内容方一个「讲理」的出口。
  • 但要看清边界:它管的是「表达意愿」和「识别信号」,不等于「授权」也不等于「付费」。它是一条技术上的退出通道,不是版权许可制度。

我可以怎么做

  1. 有自己网站:先别急着改。等 OpenAI、谷歌真正上线支持后再动,现在改了也没人读。可以先把这个词记下来:policy token。
  2. 用的建站工具/博客平台:留意平台后台有没有「是否允许 AI 抓取」的开关,将来大概率会跟进这个标准。
  3. 判断信息真假:以后看到「网站已全面禁止 AI 抓取」这类说法,先问一句——是四家都支持了,还是只有一家?现在只有 Anthropic 真正生效。

温馨提醒

  • 这不是已经全面生效的规则。四家里只有 Anthropic 落地了,谷歌、微软要等明年,OpenAI 是「未来几个月」。现在写进去,多数爬虫还不会理。
  • Meta 只说「支持方向」,没承诺遵守——「表态」和「执行」是两件事。
  • 它不能阻止所有抓取:只做非生成式任务的模型不受这个设置约束;而且这本质上是企业的自愿合规承诺,不是法律强制。
📤 一键转发小助手 帮你写好小红书文案、微信推荐语,还配一张中文海报,复制就能发