Hacker News AI· grubbomatic·· 19 小时前AI 评分23
AI Access Index: 前1000域名中684个AI爬虫访问政策报告
AI Access Index: how 684 of the top thousand hostnames treat AI crawlers
AI 导读
最新AI Access Index显示,684个顶级域名中79.7%对AI搜索和训练均开放,7.7%完全关闭。 11.3%的服务器拒绝robots.txt允许的爬虫,而63.7%仍提供robots.txt封锁的内容。
来源:Hacker News AI · crawlreadiness.com