Hacker News AI· alishaikha·· 3 小时前AI 评分60
哪些大型网站封锁AI训练爬虫但允许AI搜索
Show HN: Which big sites block AI training crawlers but let AI search in
AI 导读
研究检测了945个知名网站的robots.txt规则，评估14种AI爬虫的访问权限。结果显示25.9%的网站至少封锁了一种AI爬虫，其中9.2%仅封锁AI训练爬虫而开放所有AI搜索爬虫。
来源：Hacker News AI · getkavel.com