AI爬虫规则在线监测工具发布

开发者 alishaikha (Kavel) 发布了一款在线工具，专门用于监测网站的 AI 爬虫规则。该工具允许用户免费使用，且无需注册即可访问。 该工具基于对 945 个知名网站 robots.txt 规则的研究数据，能够评估 14 种主流 AI 爬虫的访问权限。数据显示，25.9%的网站至少封锁了一种 AI 爬虫。 研究进一步细分发现，其中 9.2%的网站采取了差异化策略，即仅封锁 AI 训练爬虫，但向所有 AI 搜索爬虫开放访问权限，反映了网站在 AI 应用与内容保护间的权衡。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。