Cloudflare推出设置：允许搜索引擎抓取，同时拒绝AI训练
Cloudflare推出“Disallow AI Training”设置，允许网站管理员继续接受搜索引擎爬虫抓取，同时拒绝将网站内容用于AI模型训练。苹果、谷歌和微软已承诺遵守该设置。对于同时用于搜索和AI训练的混合爬虫，只要其标记为“Accountable”（可问责），Cloudflare仍会允许其抓取；其他AI训练爬虫则会被拦截。Cloudflare警告，拦截这类爬虫可能影响网站搜索排名。现有相关拦截设置将自动迁移。谷歌计划为Google-Extended推出URL级透明度工具，苹果也在开发类似工具；微软计划于2027年初支持通过robots.txt拒绝AI训练。
本文来源：IT之家，仅供学习参考，版权归原作者所有。