Hacker News AI· markosavran·· 2 天前AI 评分50
网站日志分析显示 AI 爬虫流量远超搜索引擎,且逾 1/3 的 Googlebot 请求系伪造
AI crawlers read my site more than Google does. A third of Googlebots were fake
AI 导读
近两周内,该网站 AI 爬虫请求量约为所有搜索引擎总和的 3 倍。日志显示超过三分之一的“Googlebot”及伪装成 Claude 等身份的流量为伪造,主要源于 5 台租用服务器。这些恶意请求尝试探测密码与密钥文件,但网站因设置 403 错误未发生数据泄露。
来源:Hacker News AI · opensource-analytics.com