跳到正文
Hacker News AI· adulion·· 2026-10-15AI 评分36

研究显示 21.3% 的网站在 robots.txt 中屏蔽 AI 爬虫

One in Five Websites Blocks an AI Crawler

AI 导读

研究扫描 11 万网站发现,21.3% 在 robots.txt 屏蔽至少 1 个 AI 爬虫,78.7% 无任何限制。 大多数网站选择“全有或全无”,GPTBot 被屏蔽次数最多(2 万+ 站),且多数站点区分“禁止训练”与“允许搜索引用”。 国别差异巨大,荷兰屏蔽率 42.2% 居首,美国仅 2.9% 垫底。

来源:Hacker News AI · ciphercue.com