跳到正文
Hacker News AI· grubbomatic·· 19 小时前AI 评分23

AI Access Index: 前1000域名中684个AI爬虫访问政策报告

AI Access Index: how 684 of the top thousand hostnames treat AI crawlers

AI 导读

最新AI Access Index显示,684个顶级域名中79.7%对AI搜索和训练均开放,7.7%完全关闭。 11.3%的服务器拒绝robots.txt允许的爬虫,而63.7%仍提供robots.txt封锁的内容。

来源:Hacker News AI · crawlreadiness.com