Meta 爬虫大量涌入，艺术家网站不堪重负
儿童绘本作家兼插画师切尔西·保卢斯的网站遭到 Meta 爬虫超过 55 万次访问，主机资源因此不堪重负。请求来自“Meta External Agent”和“Meta Web Indexer”：前者会为基础模型训练等用途采集内容，后者旨在改善 Meta AI 的搜索结果。保卢斯与主机服务商合作限制流量后，网站仍不稳定。她表示，小微企业需要有效工具拦截爬虫，而不必额外付费购买主机资源。
本文来源：IT之家，仅供学习参考，版权归原作者所有。