The Verge · AI· Emma Roth·· 20 天前AI 评分71
OpenAI、Google、Microsoft 和 Anthropic 支持 robots.txt 共享退出标准以拒绝 AI 抓取
The biggest names in AI are backing a new way to opt out of scraping
AI 导读
OpenAI、Google、Microsoft 和 Anthropic 表示将采用 IETF 提出的共享 policy token 标准,出版方可在 robots.txt 中一次性声明不被抓取用于 AI 训练或 AI grounding,无需逐家设置。
来源:The Verge · AI · theverge.com