跳到正文
The Verge · AI· Emma Roth·· 20 天前AI 评分71

OpenAI、Google、Microsoft 和 Anthropic 支持 robots.txt 共享退出标准以拒绝 AI 抓取

The biggest names in AI are backing a new way to opt out of scraping

AI 导读

OpenAI、Google、Microsoft 和 Anthropic 表示将采用 IETF 提出的共享 policy token 标准,出版方可在 robots.txt 中一次性声明不被抓取用于 AI 训练或 AI grounding,无需逐家设置。

来源:The Verge · AI · theverge.com