Hacker News AI· ravinder_cheema·· 2026-10-09AI 评分35
美国 56 家知名品牌 robots.txt 调查:68% 未屏蔽 AI 爬虫
America's Biggest Brands Lock AI Out
AI 导读
针对 56 家美国品牌的调查显示,68% 的网站未在 robots.txt 中提及任何 AI 爬虫。 新闻媒体行业 75% 完全屏蔽至少一个 AI 爬虫,而其他行业该比例仅为 6%,差距达 12 倍。
来源:Hacker News AI · clicksdynasty.com