跳到正文
Hacker News AI· ravinder_cheema·· 2026-10-09AI 评分35

美国 56 家知名品牌 robots.txt 调查:68% 未屏蔽 AI 爬虫

America's Biggest Brands Lock AI Out

AI 导读

针对 56 家美国品牌的调查显示,68% 的网站未在 robots.txt 中提及任何 AI 爬虫。 新闻媒体行业 75% 完全屏蔽至少一个 AI 爬虫,而其他行业该比例仅为 6%,差距达 12 倍。

来源:Hacker News AI · clicksdynasty.com