HitMind发布报告：29.8%顶级网站AI爬虫绕过robots.txt
热点事件持续更新
HitMind发布报告：29.8%顶级网站AI爬虫绕过robots.txt
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
HitMind基于Tranco榜单前1万名域名发布研究，于2026年10月12日UTC时间07:35-09:34对10000个顶级网站进行一轮robots.txt访问检测，覆盖8家训练用、9家答案引擎及3家其他用途的20种AI爬虫User-Agent。 检测发现，在1105份同时禁止所有路径并明确列出AI爬虫名称的robots.txt文件中，有329份存在配置漏洞，即29.8%的此类文件意外放行了本应禁止的路径，导致相关AI爬虫绕过访问限制。 该研究揭示了当前顶级网站在robots.txt配置中的普遍安全问题，表明相当比例的网站无法有效通过标准协议阻止特定AI爬虫访问其被禁路径。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 20:57
Top 10k Sites Study: 29.8% AI Crawlers Bypass robots.txt Blocks报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Hacker News AITop 10k Sites Study: 29.8% AI Crawlers Bypass robots.txt Blocks
对 Top 10k 站点的研究发现，29.8% 的 robots.txt 文件在允许 AI 爬虫时，意外放行了原本禁止的所有路径，共 329 个文件存在此漏洞。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。