研究揭示万级网站对AI爬虫的差异化封禁策略

一项针对 13,938 个网站的研究分析了其 robots.txt 对 AI 爬虫的封禁策略。在明确封禁 OpenAI 训练爬虫 GPTBot 的 1,331 个网站中，数据显示出差异化的管理方式。其中，17.1% 的网站同时封禁了用于答案获取的 OAI-SearchBot，而有 47.0% 的网站封禁了 ChatGPT-User。这表明网站对不同功能的 AI 爬虫采取了不同的限制措施。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。