四大 AI 巨头联手制定拒爬标准，网站可一次设置退出
OpenAI、谷歌、微软与 Anthropic 计划采用一套通用标准，让网站运营者通过一次设置拒绝 AI 爬虫。Anthropic 技术负责人 Kevin Kelley 已将提案提交给 IETF，拟在现有 robots.txt 中加入相关信号。Anthropic 已率先采用；OpenAI 表示计划在未来数月内落实，谷歌和微软预计明年跟进。Meta 支持建立通用信号，但尚未公布实施时间。
本文来源：AIbase，仅供学习参考，版权归原作者所有。