Hacker News AI· mimimile·· 3 小时前AI 评分37
Top 10k Sites Study: 29.8% AI Crawlers Bypass robots.txt Blocks
AI crawlers in robots.txt: a study of the top 10k sites (2026)
AI 导读
对 Top 10k 站点的研究发现，29.8% 的 robots.txt 文件在允许 AI 爬虫时，意外放行了原本禁止的所有路径，共 329 个文件存在此漏洞。
来源：Hacker News AI · hitmind.ai