或者,先转发到社区
发到你自己的账号下,原文只显示前面几行,大家能一起讨论
一句话说清:OpenAI、谷歌、微软、Anthropic 四家一起表态支持一个新标准——网站只要在 robots.txt 里写一条统一指令,就能一次性告诉各家 AI「别拿我的内容去训练」。
robots.txt 文件里。过去网站要拒绝 AI 抓取,得一家一家分别设置,A 公司一个入口、B 公司一个入口,规矩还不一样;现在一条统一指令,支持这个机制的 AI 爬虫读到后自己就退走。policy token。
nice